Dans le bourg, au bord du lac, se trouve un château du XIXe siècle, bâti (peut-être) sur un ancien château, d'origine non datée. La seigneurie en toute justice de St Agnan, mouvante du duché de Bourgogne, appartenait à l’abbaye de Fontenay qui jouissait de tous les droits féodaux. Elle était tenue en fief en 1686 par la famille Bazin de Saulieu, puis les Chartraire. En 1741, la possession de la seigneurie passa de l'abbaye de Fontenay au comte de Montigny (Marc Antoine Chartraire, mort vers 1750) qui créa haras et forge à St Agnan. La carte Cassini (v1750) n'indique pas de château. Selon Baudiau, il a été "reconstruit, à la moderne, vers 1840". Quel type de château ou manoir s'élevait avant (manoir, maison forte…) ? A quelle date a-t-il été construit et par qui ? Existait- il réellement une demeure ou un château ancien ? . Il est curieux d'observer, accolé à la façade sud du château, une grande dependance aux longs toit. Le château actuel de type "grande demeure", présente une architecture classique sur un plan rectangulaire, couvert par un toit en croupe en ardoises. Bâti en granit taillé et moellon, la façade sur deux niveaux est percée de baies régulières. De belles dépendances sur un plan carré et un parc subsistent. Le propriétaire actuel a crée des chambres d'hôtes et un accueil touristique.