Au pied de l'ancien château-fort, le bourg fut fortifié dés le XIVe siècle. Au XIIIe s les habitant obtinrent une chrte d'affranchissement et purent ériger des murailles au XIVe pour protéger leurs biens et personne. Entre 1563, et 1580 ces murailles renforcées et réaménagées devinrent des fortifications, digne de ce nom, plus hautes et plus épaisses avec " huit grosses tours avec meurtrières et mâchicoulis et creusèrent de larges fossés que l'on franchissaient sur des pont-levis." Deux portes principales et deux autres moins importantes permettaient de pénétrer dans le bourg. Durant la Guerre de Cent Ans, en 1412, ces fortifications permirent aux Armagnacs, assiégés dans la ville par les troupes du Duc de Bourgogne Jean Sans Peur, de résister plusieurs semaines avant de capituler.Des gravures et cartes anciennes permettent de visualiser la ville fortifiée qui est toujours indiquée comme telle sur la carte Cassini du XVIIIe.
Construite en granite au XV siècle, la tour Bogros en un temoin. Elle a aujourd'hui le nom de "tour Bogros" car elle est située sur la place du docteur Bogros. Ce dernier est connu pour avoir découvert à la fin du XIX siècle quelques fragments de poterie et une monnaie gauloise de la fin du II siècle avant J-C, lors de l'érection des trois croix du calvaire. Cette découverte atteste une occupation de la ville par les Eduens. Bogros est aussi l'auteur de l'ouvrage "Histoire de Château-Chinon",1864. Rue des fossés s'observent aussi une tour et des murs, vestiges de cette fortification, tout comme la célèbre porte Notre-dame et le nom de rues (des fossés etc..) .