Au Sud de la commune, à mi-pente s'élève le château de Besne remanié à plusieurs époques. Il fut édifié à la fin du 15e siècle par Guillaume de Grandrye, seigneur de Saint Péreuse, sur les ruines d'un édifice antérieur datant du13ème siècle, dont il reste les caves, voûtées en ogive, avec un gros pilier central (sce CeCaB). L'édifice subit des transformations à différentes époques (XVIII-XIX ème siècles) mais a gardé un aspect médiéval, flanqué de quatre tours rondes. La partie du nord est la plus ancienne . L'ensemble, couvert en tuiles plates, est composé de trois corps de logis d'époques différentes, imbriqués perpendiculairement et flanqués de tours (dont une avec canonieres). Les fossés étaient déjà comblés à l'époque de Baudiau (1850). La propriété, partiellement clos de murs, comporte une allée d'acces, des dépendances, jardins, ferme, colombier...Baudiau cite la baronnie de St Pereuse avec toutes justices et droits féodaux dont les Beaumont étaient propriétaires en 1285. D'autres seigneurs se succédèrent: les Montaigu, de Blaisy, de Rochechouard, de Grandrye, de Damas... Le château appartient à la même famille (de Saint-Péreuse) depuis 1794.
A noter, au sud du bourg, un axe de circulation majeur: la route royale Autun -Chateau Chinon-Nevers, bien indiquée sur la carte Cassini (avec le chateau de Besne) qui reprenait le tracé partiel d'une importante voie romaine. Rappelons aussi les ruines d'un chateau-fort situé prés du cimetière du village, qui fut détruit vers 1474 (voir fiche). Il appartenait aux seigneurs de St Pereuse.
Il est étonnant que deux châteaux féodaux du XIIIe s, furent bâtis à proximité l'un de l'autre, à env 800 m.