Dominant le bourg, au Nord, se trouvait une forteresse féodale du XIe ou XIIe s. Celle-ci (appelée parfois localement "Château des Chiens" du fait de l'étymologie Castrum Canum ou Castrum Caninum) fut construit sur ancien oppidum eduen puis un camp romain, contrôlant un important réseau routier. Guy Coquille avance qu'il fut, ensuite, occupé par les Francs. Au moyen-age, cette puissante châtellenie régentait 195 fiefs et seigneuries. Mouvante de l’évêché d'Autun puis du comté de Nevers, elle relevait depuis le XIve, directement de l'autorité du roi de France. D'après Baudiau, au 15e siècle "le château se composait d'un corps de logis flanqué d'un gros donjon et de quatre tours nommées: Tours-du-Jour, Tour-d'Occident, Tour-Saint-Christophe et Tour-Saint-Romain." Le château possédait une chapelle seigneuriale. Le CECAB appuie cette description, évoquant quatre tours et un donjon. Le château aurait été détruits aux alentours de 1431 et les matériaux du portail extérieur servirent à construire la porte Notre-Dame en 1561. La ville (basse) fut fortifiée comme en atteste portes et tours. Aujourd'hui il reste quelques ruines, une tour de guet, des voûtes et des souterrains rares en Morvan. Un calvaire et un magnifique panoramique agrémentent ce site.