Dans le bourg, au bord du Ternin se trouve une demeure ou château d'origine non datée. Baudiau précise que "Guillaume de Montholon, chevalier, reconnut en 1328, tenir en fief de l'abbé [de Saint Martin d'Autun] sa maison de Tavernay et ses dépendances". Aucun château n'est indiqué sur la carte Cassini (v. 1750). Nous ignorons l'existence d'un éventuel édifice médiéval et la date de construction de la demeure actuelle. Celle-ci est dessinée avec ses communs sur le cadastre de 1823. La demeure n'a pas pu être observée proprement. Elle semble présenter un corps de logis classique, sur deux niveaux percés de huit baies, couvert d'un grand toit avec lucarnes. L'angle nord est flanqué d'une étroite tour surmontée d'un toit conique en ardoises. Elle comporte un vaste jardin avec de nombreuses dépendances et corps de ferme proches.
Élément à confirmer et à mieux étudier..