Au centre bourg se trouve le château fort de Chissey dont l'origine nous est imprécise mais antérieure au XIVe siècle. Bien indiqué sur la carte Cassini et sur le cadastre de 1827, le château-Maison forte a été remanié à différentes époques: XVIe, XVIIIe et XIXe. La seigneurie appartenait au XIIIe siècle à Hugues de Châtillon-en-Bazois et mouvait de l'évêché d'Autun. Ses dépendances relevaient du duché de Bourgogne. Mentionné dans de nombreuses archives, il connut par la suite différents seigneurs jusqu'à la Révolution où il fut vendu pour quatorze mille sept-cent vingt-quatre livres. D'après le Cecab "La partie la plus ancienne du bâtiment semble être la tour carrée de deux étages (…). Entre la tour carrée et cette tour s'étend le corps de logis septentrional, vraisemblablement bâti au XVIe siècle.(…) Ce bâtiment n'a gardé aucune trace de fossés, mais les prés humides qui l'entourent semblent pourtant propice à leur creusement." Ce château possède une chapelle privée mais pas de parc.Aujourd'hui l'ensemble en cours de rénovation a gardé un bel aspect médiéval et classique. Sur un plan irrégulier en U on observe une tour carrée, trois tours rondes, un corps de logis et un long corps de dépendances (aménagé au XIXe). Le château est inscrit aux Monuments Historiques. Selon l'ancien maire, Monsieur Manay, un mur datant peut-être de Saint-Louis vient d'être mis au jour lors de restaurations en cours.