Sur un plateau rocheux dominant la Cure, subsistent de très beaux vestiges d'un important château-fort attesté au XIe siècle. Pour Baudiau il a été bâti au Xe par Rotmond, évêque d'Autun.Il rapporte même qu'un poème du XIIIe cite Gérard de Roussillon et sa femme Berthe, fondateur de l'abbaye de Vezelay, comme propriétaire du manoir et où se déroula une "terrible bataille" contre Charles le Chauve. Au XIe, la maison de Vergy possédait cette" forteresse" dont une branche pris le nom "de Pierre-Perthuis". Ce fut "une des plus anciennes châtellenie du Morvan" mouvant du du duché de Nevers. Philippe-Auguste y vint en 1180. De cette période jusqu'à la fin du XVIe, le château subit de nombreux sièges, batailles et réparations, par les conflits entre les comtes de Nevers et les ducs de Bourgogne , le roi de France et les bourguignons alliés aux Anglais, les écorcheurs, les ligueurs.... Plusieurs propriétaires s'y succédèrent dont les de Toucy, de la Tremouille, de St Maure... et en 1680 Vauban comme en atteste une plaque sur l'une des portes.
En 1591 le maréchal d'Aumont "rasa" le château ou du moins l’anéantit en grande partie. Mais ses vestiges sont encore très visibles et le dessin ( projection du XVIe) issu de l'ouvrage de V Petit (XIXe), nous aide à mieux le comprendre. Épousant l’escarpement rocheux, il a deux enceintes concentriques et triangulaires avec portes et poternes. La première comprenait l’église et son cimetière, les corps de logis et le haut et massif donjon carré, pièce maitresse. La deuxième abritait des habitations, jardins et autres, et le manoir ( bâti fin XVIe après la destruction de 1691) devenu presbytère en 1837. Le château n'est plus indiqué sur la carte Cassini (XVIIIe), mais le cadastre napoléonien en restitue bien la configuration et le tracé des deux enceintes.
Aujourd'hui on observe des poternes et des portes défensives des vestiges de la muraille de la première enceinte, l’église du XIV avec son chœur du XII + cimetière, la cour du château, le tertre des ruines du donjon, de longs linéaires, en bon état mais menacé des murailles nord avec archères et une partie de l'enceinte sud pris dans la vegetation, les sites de fossés et du jardin, le manoir- presbytère avec ses deux tours, un pan de murailles nord et son chemin de ronde, un corps de logis ou habitations avec une tour carré de la deuxième enceinte et d'autres détails que les habitants connaissent bien.
Ce site remarquable, riche de ses épisodes de l' histoire de France, de ses vestiges, de sa situation panorama et de son patrimoine environnant, est majeur pour le Morvan.