Un château, non localisé précisément au lieu-dit Le Château (anciennement Le Montceau), devait exister selon Baudiau et Anost Archéologie. Appelé château de Montceau ou encore de Blain (ancien nom de Roussillon-en-Morvan)), il pourrait dater du XVe siècle. Selon Baudiau, le petit-fils d'Isabelle de Roussillon, Michel de Chaugy vers 1473, aurait bâti "un vaste château qu'il flanqua de 5 grosses tours". Il fut "vendu le 13 mai 1794 et démoli, six ans après, par Chassey, qui en dispersa les matériaux. Il n'en reste plus que l'orangerie et [des] remises ." Il n'apparaît pas sur la carte de Cassini mais l'emprise d'une plate-forme appelée "Le Château" est bien visible sur le plan cadastral de 1827. L'orangerie et les remises, que Baudiau jugea "d'une élégance quasi-royale", existent toujours. Aujourd'hui on n'observe aucun vestige féodal mais une dépendance ou remise remaniée, et un bâtiment appelé l'orangerie, de style beaucoup plus tardif (XVIIe - XVIIIe) qui peut-être avait été bâti dans les environs de cette maison seigneuriale. Ce long bâtiment comporte deux parties sous le même toit. Une partie a sur sa façade 5 très hautes baies (4m) murées jusqu'à mi-hauteur "de type orangerie". Nous n'avons pas d'autres informations sur son historique et les états successifs. Au sommet de la montagne, derrière le château, se trouvait un signe patibulaire pour la punition des criminels.