A Chaligny, se trouve un château du XVIIe siècle remanié au XIXe, mais d'origine incertaine. Le fief appartenait en 1504 à Edme de La Courcelle, puis au XVIIe, à une branche de la famille Sallonnyer, célèbre pour la mise en place du flottage des buches du Morvan pour chauffer Paris via Clamecy. Il fut reconstruit au XIX siècle par l'un de ses descendants, F. de Chaligny, sous-préfet de Château-Chinon, sous la Restauration. Au milieu du XX siècle, il est acquis par la société IBM qui fait construire de nouveaux bâtiments pour abriter des colonies de vacances, comme actuellement. Le château apparaît sur la carte Cassini (XVIIIe) à moins qu'il ne s'agisse d'un autre château à la Fosse…?
Le cadastre de 1838 nous en donne le plan. On y devine des bâtiments, dont certains avec tourelles, formant un ensemble semi-fermé de plan rectangulaire et un bassin au centre.Des tours semblent aussi se situées aux angles sud. Le manoir du XVIIe était il fortifié ?
Aujourd'hui, il apparait dans son architecture très classique sans tour, avec son parc de 12,5 hectares qui comporte de nombreuses dépendances (château non visité intérieurement).
Son origine médiévale meriterait d’être confirmée ou infirmée.