Dans le bourg se trouvent les vestiges d'un ancien prieuré du XIe siècle. Il fut fondé sous l'invocation de Notre-Dame par Henri de Clamecy, seigneur du pays (qui le donna au monastère de la Charité-sur-Loire). Les moines bénédictins asséchèrent les zones marécageuses et le site devint ensuite le bourg de Brassy. Une archive de 1165 cite un conflit (concernant un droit de propriété) entre les moines de Brassy et ceux de St-Germain-de-Modéon. Au XIIIe, c'était, selon l'abbé Baudiau, encore un bâtiment conventuel où vivaient plusieurs religieux. Puis l’église prieurale devint paroissiale et fut remaniée au XVIe. Le prieuré n'est plus indiqué sur la carte Cassini du XVIIIe. De ce monastère subsiste des vestiges dans des caves et des éléments de son église prieurale (voir fiche église). Une grande maison composée de deux logements est bâtie à son emplacement, au nord, le long de l'église. Dans les deux caves, des piliers, voûtes, etc, témoignent de son existence. Les arcs en granit taillé six faces démontrent une qualité et une aisance que seuls des religieux ou seigneurs pouvaient s'offrir. À noter qu'un château fort, du XII ou XIIIe fut bâti à 1 km à l’ouest dans les bois de Verfeuille (voir fiche) dont il reste de très beaux vestiges de terre (profonds fossés, plateforme, substructure des murailles...).