A Fragny, au lieu dit la Courbasse se trouvait un château féodal ou maison-forte, d'origine imprécise. Selon Baudiau," Villapourcon formait une importante seigneurie, mouvante de la châtellenie de Moulins-Engilbert. Louis II de Cercy, comte de Nevers, lui accorda justice en 1327, à condition que les appels se porteraient à Moulins-Engilbert et non à La Roche Millay.. .Les sujets étaient tenus de faire le guet et garde autour, en temps de guerre et d'imminents périls. Après la destruction de ce château, au XVe ,les manants de la dépendance furent condamnés au même devoir envers la forteresse de La Roche-Millay". Nous n'avons pas d'autres informations. La carte Cassini mentionne Fragny comme hameau et Courbasse avec un sigle correspondant à une justice. Le cadastre de 1833 indique le pigeonnier (1020) et plusieurs bâtiments formant un quadrilatère, pour la plupart encore existant. Un seul a disparu. Selon le CeCaB, " les dépendances du château sont les bâtiments d'exploitation et la tour carrée du colombier qui délimite une grande cour, alors que le château lui-même est probablement sur une motte voisine". La propriétaire nous confirme que, sur la parcelle à 30 m au nord du colombier, son mari lors des labours disait que " cela sonnait creux". Elle nous montre dans une dépendance un linteau de cheminée du XVIe ou XVIIe. Après la destruction de ce château au XVe, Villapourcon n'avait plus de maison seigneuriale, connue à ce jour (voir fiche tour -manoir)