L'ancien manoir seigneurial de Montbaron, dont l’origine remonterait au moins au XIVe siècle, domine la rive nord de l’Anguison et la départementale 977. Selon Baudiau, ce fief, dépendant du comté de Château-Chinon, appartenait au XIVe siècle à messire de Popillon, seigneur de Mhère et de Boue. On y voyait « un petit manoir seigneurial » qui possédait cependant une justice. Au cours du siècle suivant, plusieurs propriétaires se succédèrent : Peronnet du Pontot, Claude Pagano de Pagani, Philibert le Sauvage (1686), Jacques Le Prestre, sieur de Vauban et au XIXe Dupin ainé qui fit construire la fameuse D 977 en 1863 (axe Nevers-Dijon) dont un tronçon passe au pied du manoir. Il n'est pas mentionné comme château sur la carte de Cassini (XVIII) et a pu être remanié auparavant. L’édifice fut brûlé le 6 septembre 1944 par des Allemands venus de Corbigny en représailles d’une attaque contre leurs camions.
On ne sait rien de l’aspect primitif du bâtiment, sinon qu’il devait être (en partie) fortifié (« bar » signifiant « défense », d’où Montbaron « Mont ou éperon fortifié »). Le cadastre de 1829 montre le plan de la ferme et du manoir comme il apparaît de nos jours (p.1277) et la parcelle voisine appelée Les Donzons. Des photographies nous renseignent sur son aspect au début du XXe siècle : le manoir était couvert en petites tuiles et seules deux fenêtres permettaient d’éclairer le premier étage (années 1930). L’incendie de 1944 détruit la couverture, mais les murs tiennent et la demeure est réaménagée. Un incendie a détruit le bâtiment accolé dans les années 2000. Aujourd’hui maison de ferme, elle revêt l’apparence d’un solide bâtiment en pierres, aux ouvertures agrandies pour plus de confort. Son caractère défensif subsiste, en atteste la présence de deux bretèches ou meurtrières protégées de pare-boulets. L’un des angles du pignon sud, reste arrondi, laisse supposer une ancienne tour ou autre. Juché sur une plate-forme granitique au centre d'une exploitation agricole, le manoir ne possédait et ne possède pas de caves. Le puits serait toujours au même endroit. La propriétaire nous signale qu'à la recherche d'une source sur une parcelle mitoyenne appelée les Ejus, ils découvrirent un ancien puits (4m de profondeur) constitué de pièces de chêne type douve de tonneau. Le site aurait pu être occupé à la période antique.
Ce manoir offre des similitudes architecturales avec celui de La Chaume daté du XVe s.