Le château de Chassy du XVIIe siècle succède à une maison-forte du XIIIe. A l'époque ce château-fort était très important car il contrôlait l'accès à Château-Chinon par la vallée de l'Yonne. La baronnie de Chassy, en toute justice, mouvante du duché de Nevers (Montreuillon fut une châtellenie du Nivernais) s'étendait sur trois paroisses: Montreuillon, Montigny en Morvan et Mhere. En 1305, Robert de Compont dit d'Auxoix, en était propriétaire. Au 15e siècle, ce château subit de lourdes représailles suite à l'échec de Duc de Bourgogne face à Louis XI. Charles le Téméraire comptait en effet sur le seigneur de Chassy pour fomenter une rébellion contre Louis XI. Puis divers propriétaires se succédèrent dont d' Esguilly au XVIe, les Choiseul au XVIIe et Talleyrand-Perigord au début du XIXe.
Du château médiéval ne subsiste que des fossés asséchés et des éléments de construction comme "une pièce voûtée en coupole sise dans une des 4 tours aux murs percés de canonnières" (src: CECAB). Il est reconstruit vers 1630 par Jacques I er de Choiseul, comte de Chevigny, baron de Chassy , seigneur de Bussy, Enfer....
Aujourd'hui s'observe un long corps de logis sur deux niveaux plus combles aménageables flanqué de tours aux quatre angles, l'ensemble est couvert en tuiles plates. Derrière la cour d'honneur de très importants communs disposés sur un plan carré clos de mur . Au dessus de la porte principale, est sculpté l'écusson aux armes de Jacques Ier de Choiseul. Le porche de l'une des deux porte la date de 1747. De nombreuses terrasses ont été élevées.
Une belle chapelle dédiée à Saint-Bernard, fut érigée en proximité (voir fiche sur la commune de Montigny). De 1954 à 1961, le peintre Balthus y vécut, profitant de l'implantation du château de Chassy, en surplomb sur la vallée de l'Yonne, pour peindre des paysages. Il réalisa une soixantaine de tableaux (portraits, paysages, nus, natures mortes…). Le château est actuellement partagé entre les communes de Montreuillon et Montigny-en-Morvan et est inscrit aux Monuments Historiques depuis 1975.