Ambientata nella fittizia Downton Abbey, tenuta di campagna nello Yorkshire del Conte e della Contessa di Grantham, la serie segue le vite dell'aristocratica famiglia Crawley e dei loro servitori a partire dal 15 aprile 1912, data di affondamento del RMS Titanic. Alla notizia della tragedia, la famiglia Crawley è sconvolta nell'apprendere che il cugino del conte, James Crawley, e suo figlio Patrick, erede della loro proprietà, nonché della cospicua dote della Contessa Cora, sono deceduti nel naufragio. Nuovo beneficiario diventa il giovane Matthew, cugino di terzo grado della famiglia e avvocato a Manchester. I Crawley, soprattutto la Contessa Madre Violet, inorridiscono al pensiero che ad una persona "che lavora" – senza la minima intenzione di adattarsi alla vita aristocratica da loro condotta – spettino i loro interi averi.
Sullo sfondo s'intrecciano le vicende della vita dei numerosi domestici.