Une maison-forte ou château fort était autrefois située au hameau de Breugny. Il daterait du XIe ou XIIe et aurait pu être remanié ultérieurement. Baudiau cite la maison forte " ... ruinée en 1268". Puis il écrit qu'en 1389 Guillaume de Brugny reçut en partage "les maisons, tour et ville de Brugny, La Roche, Empury, Chaumois, Athée, Urbigny, St André, Le Saulce d'Island et ses dependances". Puis en 1406, "Guillaume de Quehon reprit fief pour la place de la forteresse de Brugny". Ces remaniements restent à eclaircir. La famille de Brugny semble posséder cette terre jusqu'au XVe avant qu'elle ne devienne propriété de Vesigneux. Selon Baudiau, « les sujets devaient faire guets et garde. . Ce château avec ses dépendances formait une terre, en toute justice, dans la mouvance du duché de Nevers. Le seigneur pouvait s'instituer juge, procureur, greffier... et jouissait des droits féodaux ordinaires. Tous les sujets étaient serfs et de serve condition, mainmortables, corvéables, taillables à volonté et quêtables, de trois en trois ans. » . Il affirme que vers 1850, on retrouvait des vestiges au bois de la « Cour Pierrot ». Aujourd’hui le « Bois de la Cour » existe bien à la sortie est du hameau Breugny. » . La carte Cassini (XVIIIe) n'indique que le hameau sans château. Le CeCaB évoque des traces d'une plate-forme carrée fossoyée.
La mémoire locale a oublié cet element qui reste à localiser precisement et étudier.