L'ancienne abbaye de Cervon aurait été fondée au VIe siècle par St Eptade et fut à l'origine du village. Selon Baudiau, l'ermite s'établit dans les bois à l'emplacement du futur village, dans une sainte retraite et rapidement, sa réputation attira disciples et pèlerins. Ainsi naquit cette abbaye attestée et citée en 843 comme "monasterium sancti Eptadii in Cervidano". Sécularisé au XIe ou au XIIe siècle – époque de la reconstruction de son abbatiale (actuelle église de Cervon) – il accueillait un chapitre de dix moines et un abbé. Chaque moine était logé séparément dans une maison du domaine, qui devait être particulièrement riche et étendu. L’abbé rendait la justice et percevait des dîmes de sa paroisse et autres "impôts". La mémoire locale nous informe qu’au moment de la Révolution française, une dizaine de moines occupaient toujours l’abbaye de Cervon. Le plan des divers bâtiments de l'abbaye et de ses évolutions n'a jamais été réalisé, malgré son importance. En 1334, le Chapitre eut le droit de protéger le domaine (et village ?) de murs et fossés dont le tracé est encore visible sur le cadastre de1829. Baudiau cite la maison du doyen au sud près du portail de l'église, que l'on peut toujours observer et au nord du même portail, une tour ronde en ruine et une crypte ou cave sous l'école actuelle. Toujours visible, cette crypte romane ou salle capitulaire est scandée de piles massives aux chapiteaux sculptés de figures humaines et animales. Le domaine bâti de l'abbaye devait donc se situer autour de l'église, ancienne église abbatiale, avec une majorité de bâtiments au sud-sud-est de celle-ci. Il subsiste donc des bâtiments remaniés et d'autres vestiges moins visibles. La tradition orale en indique quelques unes mais sans confirmation. Une d'elles, avec des vestiges intéressants, aurait été un ancien presbytère avec peut-être une chapelle. Cette ancienne et rare (pour le Morvan) abbaye du VIe, mériterait d'être étudiée, sachant que que le portail de l'abbatiale-église est classé aux Monuments historiques. À noter, comme l'indique nettement la carte de Cassini (XVIIIe) l'axe principale de circulation, route royale au 18e, passait au nord de la commune.