Au Metz-Roblin se trouvait autrefois un manoir seigneurial, non daté et non localisé précisément. D’après Baudiau, ce manoir appartenait à la famille de Charry, attesté au XVIIe siècle, puis à celle de Parent, seigneurs de Fretoy. Dans" une fondation pour l'église de Gouloux", Jean de Charry est mentionné en 1674 comme officier commensal de la maison du prince de Condé. La carte de Cassini (v1750) n'indique pas de château. Nous ne connaissons pas ses dates de construction et de destruction. La mémoire locale pense qu’il aurait pu se situer à proximité de la « Maison Naulin », ou plus haut, près d’une petite mouille. Nous n’avons pas plus d’informations.La seigneurie de Gouloux (et St Brisson) est tres ancienne et appartenait au VIIe siecle à Corbon, seigneur de Corbigny puis à l'abbaye St Andoche de Saulieu. Mouvante de l'évêché d'Autun, elle passa aux ducs de Nevers puis rattachée à celle de St Brisson. L'absence de château à Gouloux s'explique par la division au cours des siècles en fiefs, dépendances et terres aux profits de nombreux et divers propriétaires ou seigneurs. Ainsi des terres ont appartenu aux religieuses de Rougemont, à la maison d'Alligny (XII et XIIIe s) , de St Brisson, de Vesigneux, de Montal…Cet élément mériterait d'être étudié et localisé.