Au Sud de Tavernay, Varolles était en 1230 la propriété de Girard de Lucenay. Nous ignorons s'il existait une construction ou maison seigneuriale à l'époque. La demeure actuelle (corps de logis principal) daterait de 1810 selon le propriétaire actuel. Il s'agissait d'un pavillon de chasse qui a été agrandi dans les années 1860. La demeure fut acquise par la famille de Fontenay. En 1874, Jeanne de Fontenay fit construire une grotte dans le parc lorsqu'elle rentra guérie d'un pèlerinage à Lourdes. Aujourd'hui on observe un corps de logis sur deux niveaux avec cinq baies. Il est flanqué d'un côté d'un petit bâtiment, et de l'autre d'un bâtiment plus long sur un niveau avec quatre baies et trois lucarnes pendantes ouvragées. L'ensemble sur un plan rectangulaire est couvert en tuiles de Bourgogne avec une différence de faitage. De longs communs sont accolés en L sur la façade arrière.