A la confluence du Serein, de la Baigne et du Brazon, subsistent les vestiges d'un important château fort du XIIIe siècle. Baudiau en évoque longuement l'histoire. "La terre de La Mothe, avec haute, moyenne et basse justice, fut érigée au XVIIe siècle en comté".... Elle appartint au XIIe à la maison de Mont- St-jean puis celle de Vienne, de Rouvray, de Nory, de Ternant (d'où la Mothe- ternant), de Saye… Le château aurait hébergé Gabrielle d'Estrées, favorite du roi Henri IV.Mentionné en 1231, le château fut détruit en 1478 par les troupes de Louis XI, rebâti et remanié au XVIe s, pour être démoli, après la Révolution, en 1793. Le CeCaB a très bien étudié et inventorié ce château fort avec ses évolutions: accès et pont dormant, avant-cour, fossés, tours et courtines, bâtiments et logis, systèmes défensifs… Il a même été découvert "deux archères- canonnières ronde à fente de visée détachée"..." exceptionnelles pour la région" . Il est bien indique sur la carte cassini (v 1750) et sur le cadstre 1819 dont la tour octogonale et un long corps de logis flanqué de deux tours.Aujourd'hui, il reste de belles ruines éparses : la base d'une tour octogonale, murs, tour, murailles et échauguette, ... sur des parcelles privées et publiques.A noter que le centre bourg était divisé en deux