A Conclay, un château du XVIIIe s, remanié au XIXe aurait été bâti proche d'un château médiéval. Niaux écrit que "le fief et le château est mentionné en 1454 et qu'il a été reconstruit un peu plus à l'ouest au XVIIIe s". Baudiau cite la terre de Concley, seigneurie en toute justice.... mouvant du comté de La Roche " que Jean 1er de Chevannes reprit le fief en 1454. Il ne parle pas de château ou maison forte. La même source cite François de Champeaux qui "rebâtit le château"au XVIIIe s. Puis, il a été remanié au XIXe siècle pour lui donner son style "médiéval "actuel (granit et moellons enduits). Une chapelle '"de seize pieds de long et quatorze de large" construite en 1676 et bénite le 1er mars de l'année suivante fut reconstruite en 1764 et abrita la cloche du couvent des cordeliers du Beuvray (actuellement à Autun). Cassini (XVIIIe) n'indique pas de château à "Concle" près de l'important étang.
L’élément médiéval reste à attester.