Au XIVe siècle, l 'abbaye et le centre du village étaient protégés par des murs et fossés. En 1334 le Chapitre eut la permission de Louis de Crécy, comte de Nevers, de fermer Cervon de murs et fossés. Rappelons que l'origine de Cervon remonte à une abbaye créée au VIIe siècle, sécularisée au XIIe en un chapitre de 10 chanoines. Ils avaient chacun leur logis ou "domaines" autour de l'abbatiale (actuelle église St Barthélémy). Baudiau témoigne de vestiges d'une des tours à quelques dizaines de mètres, au nord du portail de l'église (près de l'école d'aujourd'hui). Cette tour ronde aurait eu "six étages". Le tracé de l'enceinte reste imprécis, mais le plan actuel et le cadastre de 1829 en restituent une partie. Il nous est difficile de positionner la maison forte dite Mothe-de-Cervon bâtie au XIVe et qui semble située en limite des murailles. D'autres vestiges peuvent exister, mais nécessiteraient une étude approfondie in situ. Nous ignorons également la date de destruction de ces murailles. Un habitant passionné nous montre une esquisse du tracé de ces murailles. Cet élément mériterait d'être mieux étudié.