Suite à la destruction de l'imposant château féodal (à quelques centaines de mètres au sud - voir la fiche sur la Motte de la Tournelle) en 1474, le château de La Tournelle aurait été rebâti à l'emplacement actuel fin XVe et remanié postérieurement. Baudiau précise qu'un manoir plus modeste (maison fortifiée avec fossés, tours, pont-levis et pont dormant, chapelle ...) fut "reconstruit en 1475". Certains pensent que la reconstruction du manoir fortifié (1475) se fit à l'emplacement-même de la forteresse rasée en 1474 et le château actuel bâti fin XVIIIe. Cette hypothèse reste à confirmer.
La seigneurie des La Tournelle, qui fut très importante en Morvan et au-delà, dura du XIIe au XVIIIe siècle, date à laquelle elle fut érigée en marquisat. La famille de la Tournelle vend ce manoir en 1765 ; il aurait ensuite été remanié en 1774. Une longue allée de tilleul qui le reliait au village fut abattue en 1793. Très détérioré pendant la Révolution, le château fut restauré au XIX siècle. Il fut occupé par l'armée allemande durant la Seconde Guerre mondiale. Des années 1950 à 2008, une usine textile (Aaron) a installé ses ateliers dans le parc.
Aujourd'hui, on observe encore un grand corps de logis sur deux niveaux avec deux tours carrées et une ronde, couvert en ardoises récemment. Nous ne pouvons confirmer des éléments anciens de ce château non visité . Les bâtiments de l'ancienne usine subsistent toujours.