Niché à flanc d’un petit ravin au hameau de Charmont s'élevait un manoir d'origine imprécise et aujourd’hui disparu. Il aurait été construit au XVe siècle ou peut être avant. L’Inventaire du patrimoine de Saône et Loire, cite la tradition locale datant le domaine et sa demeure au XIe. Il est attesté au XVe siècle. Jusqu’au XVIIe siècle, Chaumont fut propriété de la famille Doyen, qui possédait également le château de Trélague. La carte Cassini (XVIIIe) ne révèle cependant rien d’autre qu’une ferme à cet emplacement. De même le cadastre de 1831 indique une maison et un très long bâtiment qui semble respecter l'implantation des bâtiments actuels. L’historien et érudit autunois Anatole de Charnasse nous apprend que la manoir de Chaumont, abandonné et en très mauvais état fin XIX e, fut démoli en 1911 et remplacé par une ferme. Il ne reste à présent de cet édifice qu’une belle cheminée en pierre encadrée de colonnettes aux chapiteaux facettés, supportant un manteau massif entièrement sculpté. Une pierre sculptée de l’ancien manoir, se trouve dans un champs et semble être un encadrement de baie. La mémoire locale n'a pu nous situer l'emplacement précis de ce manoir.