Baudiau cite, au hameau de Palmaroux, un manoir seigneurial disparu, d’origine médiévale non précisée. Palmaroux était "un fief dans la mouvance du duché de Nevers, à cause de la châtellenie de Saint-Brisson". Il est mentionné en 1526, engagé par Philippe de La Croix à Sébastien de Vésigneux, pour trois cents livres. Baudiau cite d'autres propriétaires: les familles Guillemotte, Dorlet... jusqu'au XVIIIe s. L’abbé Charrault (écrit de 1933) le décrit ainsi : « Le vieux manoir qui avait deux tours détachées couronnait la montagne. Sa girouette, à quatre fleurs de lys et à la flamme léopardée, est au musée de Montsauche ». La mémoire locale situe cet élément au "Champ de Fournais", mais pas sur une "montagne". De plus, le cadastre napoléonien indique une parcelle (n°824 ?) de forme étonnement circulaire et une autre un peu plus loin (n°826 ?) de forme rectangulaire, au lieu nommé "La Comnie" (?). La carte Cassini (v. 1750) n'indique aucun château. Nous n’avons pas plus d’informations et ne pouvons, à ce jour, localiser plus précisément ce manoir disparu.