Acțiunea romanului se petrece în anul 1879, în Levenford, personajul principal fiind pălărierul James Brodie. Acesta este un om orgolios, dur, care trăiește pentru propriile lui plăceri, neinteresându-l soarta familiei sale decât în măsura în care îi este asigurat confortul personal, lipsit de finețe, terorizându-și zilnic familia-mama, soția și cei trei copii.

Când fiica cea mare, Mary, rămâne însărcinată, o izgonește de acasă într-o noapte, pe o furtună cumplită, după ce o bate și o lovește sălbatic cu picioarele, spunându-i: „Ieși, și să nu te întorci până ce nu te târăști pe jos, să lingi cizmele care te-au lovit".

Pe Matt, fiul său, îl disprețuiește si îi găsește un post în India, trimițându-l de acasă; nici cu propria mamă nu se comportă mai bine, numind-o „babă", „scroafă".

Din cauza orgoliului său nemăsurat și a prostiei sale, a pierdut afacerea cu magazinul de pălării, de aici începând declinul lui.

Nu se comportă mai omenește nici cu soția sa, desconsiderând-o zilnic, terorizând-o, neavând milă nici chiar atunci când aceasta se îmbolnăvește de cancer, mai având câteva luni de trăit.

După ce soția sa moare, își aduce în casă amanta pentru a-i ține casa, dar, în scurt timp, aceasta fuge împreună cu fiul său și se căsătoresc.

Fiica cea mică, Nessie, care este slăbiciunea lui James Brodie, este stimulată de acesta să învețe pentru a primi o bursă, punând-o să învețe zilnic, fără pauze, dar, bietul copil, neridicându-se la înălțimea așteptărilor acestui tiran, alege să își curme viața.

Aceasta a fost viața lui James Brodie..., tristă în cele din urmă, fiind părăsit de soție și copii, unii părăsindu-l prin moarte, alții alegând să plece cât mai departe de el pentru a trăi liniștiți și în pace, stări pe care nu le-au experimentat alături de el.