Au hameau de Varennes, se trouvait un manoir seigneurial, disparu. C'était un fief mouvant en partie de Mont-St-Jean qui appartenait en 1365 à Jean de Bricon, puis à la famille de Thoisy. Des archives le mentionnent encore, comme vendu en 1630 à Zacharie Espiard et en 1755 à Surmain de Flammerans, conseiller au parlement, sieur de Missery. Si nous ne connaissons pas sa date de construction, le château ou manoir est indiqué comme tel sur la carte de Cassini (v 1750). Nous ignorons son architecture et la date de destruction. Selon la mémoire locale, il pourrait se situer à l'emplacement d'un bâtiment agricole, mais non visité intérieurement. Nous n'avons pas d'autres d'informations sur cet élément.