Dominant le bourg à 556 mètres d'altitude, se dressait autrefois le château médiéval de la Vieille Montagne, d'origine imprécise, détruit au XVIe siècle. Il est possible qu'un oppidum gallo-romain ait précédé ce château médiéval. On sait que Hugues Ier de Châtillon-en-Bazois, seigneur de la Montagne, fonda le prieuré de Saint-Honoré en 1106. La forteresse fut rasée entre 1512 et 1533 par les troupes italiennes et allemandes qui ravagèrent la région. Les terres de la Montagne furent saisies en 1545 par Charles de Gandrye et en 1572 un nouveau château est reconstruit à environ 2km au nord-ouest, le Château de la Montagne. De ce château fort, il ne restait à l'époque de Baudiau (v 1854) que "des vestiges de fossés".
Aujourd'hui, selon la mémoire locale il reste quelques ruines recouverts par la végétation. D'après le CECAB: "On ne distingue plus que les ruines du donjon. Si on fait attention où on pose les pieds, on se rend compte que l'on marche sur les courtines d'une épaisseur considérable". Les ruines sont bien indiquées sur la carte IGN et sur la carte Cassini (v.1750), avec l'indication "vieille montagne". Cet élément n'a pas été observé.