Moulins-Engilbert eut l'autorisation au XIV e siècle, d'édifier des fortifications. Protégeant le centre bourg, elles furent totalement détruites durant le XIXe siècle, sauf une tour près de la porte du Guichet. Elles étaient bâtis en contre bas du vieux Château (du XI e), lui-même fortifié.
Les archives nous apprennent qu’en 1346, Marguerite de Flandres autorisa l’édification de remparts pour protéger la ville ; ceux-ci ne seront pas construits avant 1386. La ville s'érigea en commune et prospéra très vite. On connaît leurs dimensions : 10 mètres de hauteur pour 2 mètres d’épaisseur, le tout sur un périmètre d’environ 2 kilomètres avec fossés en eaux. Onze tours rondes et massives flanquaient cette muraille, en outre percée de trois portes: St Antoine, Guichet et Notre-Dame. Chacune d’elles étaient crénelées et encadrées de deux tours de défense. La porte Saint-Antoine possédait, en son étage, une salle qui fit longtemps office de prétoire. On y accédait grâce à un pont-levis, ce qui était également le cas de la porte Notre-Dame, en outre protégée d’un bastion. Nous n’avons pas d’information sur la dernière porte, dite du Guichet, mais elle devait être assez semblable aux deux autres dans sa structure. De profonds fossés ceignaient la muraille, alimentés par les eaux du Guignon.
Ces fortifications, bien notées sur la carte Cassini (env. 1760), ne sont plus visibles sur le cadastre de 1842 à l’exception d’une tour. Elles sont en effet complètement détruites durant la première moitié du XIXe siècle afin de faciliter l’accès et la circulation dans la ville. Les portes furent abattues dans les années 1817, les fossés comblés en 1835 et des remparts démontés entre 1818 et 1840.
Ne restent à présent qu’une tour, sise chemin du Canada, tout près du pont du Guichet où se trouvait la porte Saint-Antoine. La tour est circulaire, basse et large, percée de meurtrières et de petites ouvertures en partie comblées.La toponymie rappelle aussi ces fortifications comme la rue des Fossés, au sud-est du bourg, qui suit rigoureusement l’ancien tracé des remparts.
En Morvan, hormis les villes portes, quelques bourgs ou villages purent construire des fortifications, entre autres : Château-Chinon, Cervon, Lormes, St-Père, Pontaubert, Tharoiseau, Larochemillay....