La demeure bourgeoise de Magny du XIXe s, appelé château, aurait été bâti sur un édifice plus ancien, non daté et de typologie inconnue. Baudiau précise son appartenance en 1585 à la trésorerie de Nevers puis les Potillon, Virgille puis aux Chargère. Il subsisterait une tour carré de cet ancien édifice qui fait office de chapelle du château.La carte Cassini du XVIIIe s n'indique aucun château à Magny. Le cadastre napoléonien (1830-40) montre un plan très ordonnancé avec ses dependances qui semble différent de celui actuel. La propriété n'a pu être visite et nous n'avons pas d'autres informations.