Au XVIe siècle, comme beaucoup de villages du Vézelien, Saint-Père s’entoura de murailles pour se protéger des pillards et des guerres. A ce jour, nous ne saurions dire si le bourg médiéval (partie sud- ouest du bourg actuel) était déjà fortifié au XIIIe. En 1591, alors que la Ligue catholique et les Protestants s’affrontent, Edmé de Rochefort, fit raser les remparts. La toponymie et l’urbanisme conservent la mémoire et le tracé de ses murailles : rues de « Dessus-les fossés », « Derrière les murs », « Sur la brèche ». L’abbé Petit en 1870 nous apprend que « les fossés ont été comblés... Ils longeaient les murs de l’ancienne église Saint-Pierre et passaient à peu de distance de la belle église dont la tour élancée est si remarquable». Une des portes se situaient rive gauche à l'entrée du pont sur la route de vézelay à Avallon. A la fin du XIXe, une des portes est encore visible comme en témoigne un dessin issu de l'ouvrage de Victor Petit.
Des vestiges subsistent dans le village. Une partie basse de cette fortification est encore observable derrière l’église Notre-Dame, rue de Derrières les murs. Dans la continuité du muret de jardin, il mesure environ 4 mètres de long, 1,50m de haut et 1,40m de large. Une autre trace semble être visible dans le pignon d'une maison , prés de l'ancienne église.
Le cadastre napoléonien en montre bien le tracé.