Le couvent de Capucins ou des Cordeliers fut fondé en 1637 par Pierre Pitoys, écuyer, seigneur de Quincize et gouverneur de Château-Chinon. L'église (du couvent), dédiée à St Pierre, patron du fondateur, "était vaste et bien bâtie". Une chapelle, construite en 1700 est destinée à la sépulture de la famille. En 1640, le couvent était occupé par quatre prêtres et deux frères, installés auparavant au prieuré St Christophe. A l'époque de Baudiau, on voit encore les anciens bâtiments, au-dessous du "Champlin" et l'établissement était "très utile pour l'instruction religieuse des gens de la campagne". Des reconstitués plans du XVIIe montre bien le couvent avec son église et enclos, à l’extérieur des fortifications , au sud. Aujourd'hui, subsiste un long batiment de plan rectangulaire sur deux niveaux, couvert d'un long toit avec croupe en tuile, .