A l'est du bourg, sur un replat dominant la rivière le Chalaux et le Pont subsiste les vestiges d'un chateau-fort d'origine imprecise (XIIe, XIIIe ?). Baudiau (v 1854) cite une "antique maison forte" en ruine en 1510, avec des fossés, pans de murs qui étaient encore visible au XIXe, indiquant "une certaine importance et une forme hexagonale, comme à Vautheau". (ndlr château de la Grande Verrière). La mémoire locale la situe précisément et se rappelle de ruines "de portes et tours" au milieu du XXe. Chalaux était le siège d'une seigneurie en toute justice mouvante du duché de Nevers et appartenait en 1663 à la famille de Villarnoult . Le CeCaB cite une archive de 1274 "d'un hommage rendu au comte de Nevers par Gui Libezorz, chevalier, seigneur de Villarnoul, pour la maison de Chalaux". Selon la mémoire locale, le château aurait été attaqué par les seigneurs de Marigny "un jour de fête" pendant un grand repas. Une maison seigneuriale, plus tardive,est avérée dans le bourg. Ce château n'est pas indiqué sur la carte Cassini (XVIIIe), mais le parcellaire apparait bien sur le cadastre de 1842. Nous n'avons pas d'autre information sur cet élément.
On observe aujourd'hui très nettement de nombreux murs arasés autour d'une plateforme où se situait le château, mais aussi légèrement en contrebas, un pré qui pourrait être la basse-cour du château. Coté de la rivière Chalaux des "murs" marquent la limite entre la pente très raide et la plateforme. Des habitants se souviennent dans les années 1940-1950 de ruines imposantes : une entrée (porte?) de 4-5mètres, et les hauts vestiges d'une tour ronde d'environ 20 mètres de diamètre. Ils nous évoquent aussi l'existence d'une sortie à mi-pente côté rivière (poterne). Cet élément mériterait d'être mieux étudié, sauvegardé et valorisé.