Sur un éperon boisé, dominant l'ancienne voie romaine (Autun - Orléans), se trouvait jadis le château fort de Roussillon ou "vieux château d'Anost", tenu par les seigneurs de Roussillon qui avaient droit de haute, moyenne et basse justice. La châtellenie de Roussillon couvrait les trois paroisses d'Anost, Blain et Cussy-en-Morvan. Pour le CeCaB le château daterait du XIIe siècle. D'après l'Abbé Baudiau, il aurait été détruit par les Armagnacs en 1412. Nous n'avons pas plus de précisions quant aux remaniements de ce château et la date exacte de sa destruction. L'ensemble de ce site remarquable est constitué du château féodal avec sa basse-cour, des fossés-lices et d'un "enclos" de 24x16m.Le tracé parcellaire sur le cadastre de 1827 montre d'après le CeCaB "une aire polygonale de 240x140 m entourant le château, restes d'une première enceinte vraisemblablement". Baudiau en fait une description : "(…) ruines de l'antique forteresse féodale de Roussillon. Entourée, sur trois faces, par de profondes vallées, elle n'était accessible que du côté nord, où une large tranchée avait été faite." Aujourd'hui, on peut observer les vestiges d'une élévation de 1 à 3 mètres, de quatre tours circulaires reliées par des courtines et d'un donjon de forme carrée adjacent à la tour ouest. C'est la tour d'entrée qui présente les vestiges les plus importants. L'aire centrale délimitée par l'enceinte mesure à peu près 57x37 mètres. À l'intérieur, des vestiges peuvent être interprétés comme une habitation. Les fossés, déjà évoqués par Baudiau, situés à 40m de l'entrée du château, ferment en partie l'éperon au nord. Ils mesurent 15m de large et sont profonds de 3 à 5m. On peut se demander quelle était l'utilité de ces fossés: ils ne semblent pas avoir eu de rôle défensif puisque l'on peut accéder au château en suivant une courbe de niveau. (src: CeCaB). Élément très important de l'histoire du Morvan à étudier et à sauvegarder. L'association Anost Archéologie est propriétaire d'une partie du site, espérant le sauvegarder et le valoriser.