Au bord de la départementale 985, dominant l’Yonne (principal axe du flottage des bûches du Morvan à Paris de 1550 à 1850), se trouve le château de Marcilly dont la construction remonte au XVe siècle et qui a été très remanié. Pour certains, cet édifice fut bâti vers 1455 sur l’initiative du bailli et gouverneur de Château-Chinon, Jehan Boudault, mais Baudiau cite Salazart, gentilhomme espagnol, comme premier bâtisseur. De nombreux propriétaires se succédèrent dont Louis de Mesgrigny, comte d'Aunay et époux de Charlotte Le Prestre, fille du Maréchal de Vauban (enfant du Morvan), au début du XVIIIe. Les canons encore disposés dans le parc viendraient de la prise de Philippsburg.
Baudiau décrit le château médiéval ceint de murailles et fossés avec pont levis et nombreuses tours de défense. Si la base Mérimée indique des remaniements au XVIIIe , d'autres citent la famille Le Roy, nouveau propriétaire qui en 1638, fit quelques réfections et destructions qui modifièrent l’aspect du château par la suppression des courtines et l’agrandissement des fenêtres. Le caractère défensif est gommé au profit du confort et de l’agrément. Il est mentionné sur la carte de Cassini (XVIIIe) avec une chapelle. La chapelle castrale, détruite en 1792 et rebâtie à la sortie est du village, faisait l'objet de pèlerinages (voir fiche). L’abbé Baudiau évoque en 1854 la présence de deux tours et « de deux cavaliers à cul de lampe ».
Aujourd'hui, le château a gardé son bel et imposant aspect, avec son corps de logis principal flanqué de puissantes tours et une aile qui se termine aussi par une tour et une autre tour isolée qui permet de retrouver l'ancien plan carré de la forteresse. De nombreux communs du XVIIIe et plus occupent le grand parc ceint de murs. Depuis 1866, le château est la propriété de la famille Candolle et il est inscrit aux M.H. en 1996.