Dans le hameau de Lantilly, le château médiéval du XIVe siècle a été remanié aux XVIIe et XIXe. Il aurait été bâti à l'emplacement d'une villa romaine (Villa Lentulli). Cette ancienne seigneurie, mouvante de comté de Château-Chinon et de la baronnie de Lormes appartint, entre autres, à la famille Torcy du XVe à 1765. La famille de Certaines qui ne l’a jamais habité à cause de la Révolution, le vendit en 1802 à Louis Formé qui abattit les tours. Lantilly fut occupé par les Anglais au XIIIe siècle avant de subir les guerres de religion et les conflits entre la Bourgogne, le Nivernais et le Royaume de France.
Le château de Lantilly revêtait l’apparence d’une maison seigneuriale fortifiée avec six tours, isolée sur une plate-forme ceinte d'un ensemble de double douves alimentées par l'Anguison (dont une encore bien visible sur le cadastre de 1829) et un pont dormant. Après les remaniements du XIXe (dont l'arasement de 5 tours défensives), il se présente aujourd'hui avec ses deux anciens corps de logis disposés en L et la tour défensive restante, l'ensemble couvert en tuiles plates, son pont dormant, un colombier, des dépendances et les jardins. L’intérieur offre quelques vestiges médiévaux et contemporains. Le château est inscrit aux M.H. depuis 2005.
Il est curieux de noter que Lantilly est indiqué comme paroisse sur la carte devCassini (XVIIIe) et que le château n'y apparaît pas.