Sur un éperon rocheux et à l'emplacement d'un château féodal du XIe ou XIIe siècle, fut rebâti ce château du XVe, remanié au XIXe.Les dates de constructions et l'identité des divers propriétaires sont imprécises. Selon Baudiau, au XIIe l'importante baronnie, mouvante du duché de Bourgogne, appartenait au XIIe siècle aux seigneurs de Thoisy, branche cadette des sires de Mont-St-Jean. De la fin du XIIe à 1564, le fief et le château appartinrent en partie à l'évêché d'Autun d’où le nom de Thoisy-l'Évêque (comme Lucenay-l'Évêque). Puis plusieurs propriétaires se succédèrent : les Marcilly-Cypierre, Legouz de la Berchère, de Choiseul, de Montboissier, de Beauvau, de Vogüé. Le château aurait été remanié par l'évêque d'Autun Étienne II fin XIIe, puis reconstruit au XVe et très remanié en 1824 par Charles Suisse à la demande du propriétaire le prince de Beauvau. Une gravure du XVIIIe en restitue les divers styles conservés dont celui de la période médiévale, avant la destruction partielle du XIXe. Le Cecab évoque "le château primitif... constitué de trois corps de logis autour d'une cour trapézoïdale, ouverte à l'est. Depuis la restauration de 1824, il ne reste plus qu'un long bâtiment rectangulaire sur le coté nord de l’éperon,face au village" . Curieusement, la carte de Cassini (v 1750) n'indique pas de château mais semble-t-il une gentilhommière ou chapelle. La chapelle XVe, avec des fresques, a été restaurée. Au début du XXe, on pouvait encore voir la "tapisserie à l'Oiseau", datant de 1477, que Charles le Téméraire emportait toujours dans ses expéditions. Non visitable et inscrit aux MH, le château présente un long corps de logis à trois niveaux, flanqué de deux tours massives, une carrée et une ronde. L'ensemble dans un style néo-gothique est couvert en ardoises et entouré de dépendances et d'un parc.