Lee Chandler conduce una vita riservata e solitaria a Boston, dove lavora come idraulico e tuttofare. Un giorno riceve dal suo amico George la notizia che suo fratello Joe ha avuto un attacco cardiaco e si vede costretto a tornare nella sua città natale, Manchester-by-the-Sea, dove riesce però ad arrivare solo dopo la morte di Joe. Lee rimane a Manchester per organizzare il funerale e per stare accanto al nipote sedicenne Patrick, figlio di Joe, del quale scopre di essere stato nominato tutore. Lee accetta con riluttanza questo ruolo, e tenta di impedire la riconciliazione del ragazzo con sua madre, una ex alcolista che ha abbandonato da anni la famiglia; d'altra parte Patrick rifiuta di trasferirsi a Boston con lo zio, poiché la sua vita è fortemente radicata a Manchester.

Attraverso una serie di flashback, frattanto, viene ricostruito il passato di Lee: egli una volta viveva felicemente nella cittadina insieme a sua moglie Randi e ai loro tre bambini, finché un giorno, a causa di una sua disattenzione mentre era ubriaco e drogato, la sua casa andò a fuoco uccidendo i figli. Pur non essendo stato giudicato colpevole del fatto dalla polizia, Lee aveva tentato il sucidio ma aveva fallito; Randi lo aveva lasciato, incolpandolo violentemente della morte dei loro figli, e lui aveva deciso di trasferirsi a Boston, vivendo una vita di depressione e solitudine.

Lee deve rimanere a Manchester fino alla primavera, poiché il corpo di Joe non può essere sepolto prima a causa del gelo e viene tenuto in un apposito congelatore. Pertanto lui e Patrick sono costretti a convivere e ristabilire un difficile rapporto: Patrick ha le sue problematiche adolescenziali rese più amare dalla morte del padre, e Lee, a causa della sua costante depressione, si trova incapace a gestirle. Così minimizza il disagio del ragazzo nel sapere il corpo di suo padre in un congelatore, finché non si trova ad avere un attacco di panico nel vedere dei cibi congelati; inoltre i due litigano quando Lee non è complice di Patrick distraendo la madre della sua fidanzata mentre loro hanno un rapporto sessuale, in quanto Lee non riesce ormai più a portare avanti una conversazione con altre persone. Patrick inizia dunque a pensare che allo zio non importi nulla di lui, anche perché sembra voler affrettare la loro partenza da Manchester.