Dans le bourg, un château XIXe, d'origine imprécise, bénéficie d’un panorama superbe sur la vallée. Nous n'avons que peu d'information sur cet élément. Était-ce à l'origine un château, un manoir féodal, une maison forte … ? Au Moyen-âge, la terre de Tharoiseau appartenait à Girard de Roussillon, avant de relever du Chapitre d'Avallon. Il est attesté qu'au XVe siècle, sous le règne de Charles VII , la famille Destutt d’Assay issue d’une très ancienne famille écossaise, s’établit à Tharoiseau.
L’abbé Pissier raconte comment M. d'Assay « fut emmené en prison comme un criminel et son château pillé» au moment de la Révolution. Le château actuel fut rebâti en 1847 sur l’emplacement "d’un ancien corps de logis plus modeste". Aujourd'hui, derrière de hauts murs, la propriété (non visitée) comprend le château du XIXe avec son corps de logis flanqué de tourelles et d'un aile carré, un parc, et plusieurs dépendances.