Suite à la destruction de la forteresse médiévale vers 1431 le bourg en contrebas devint une ville fortifiée (voir fiche). La seigneurie de Château-Chinon dépendait directement de l'autorité du roi de France. Cette porte, par laquelle on pénétrait en venant du Sud, est avec les deux tours qui la flanquent, un témoignage de la dernière enceinte de la ville, construite en 1543 avec la permission du roi Francois 1er. Le Prince de Condé, seigneur de Château-Chinon, autorise les habitants à utiliser les pierres provenant des ruines du château pour construire cette porte, qui serait à l'image de celle de l'ancienne forteresse médiévale. Cette porte doit son nom à une statue de la Vierge qui ornait la façade extérieure dont on voit toujours la niche vide. Elle se compose d'une porte charretière et d'une poterne pour les piétons et deux tours rondes et massives l'encadrent. Cette porte figure sur le plan d'Amédée Julien de 1879 qui a reconstitué la ville du XIVe eau XVIIe. Longtemps, sur la place Notre-Dame, se tenait la célébré "foire aux bois" où les vendeurs fixaient les prix, le 1er novembre de chaque année. Aujourd'hui, inscrite aux MH, elle a gardé son aspect ancien, malgré un enduit gris (au ciment) à l'arrière de l'édifice et des tours.