A Vareilles se tenait le fief de Champcourt où l'on voyait jadis un manoir seigneurial, non localisé, et non daté mais probablement antérieur au XVIe siècle. Il n'en resterait aujourd'hui que le pigeonnier/colombier, au milieu d'un champ, visible de la départementale. Selon Baudiau le fief de Champcourt était une terre mouvante de l'abbaye de Saint Martin qui appartenait à la famille de Champcourt au XVIe siècle. Philiberte de Saint-Clément, veuve de messire de Champcourt, en fit aveu en 1567. A la fin du XVIIIe siècle, le manoir devint la propriété de la famille de Comeau. Le manoir n'apparait pas sur la carte Cassini (v. 1750). Nous ignorons sa date de construction et de destruction, son aspect et sa localisation.Aujourd'hui on peut observer le pigeonnier/colombier (de l'extérieur), très menacé. L'ensemble est une belle construction en pierres taillées et moellon massive. De forme circulaire, d'environ 6 mètres de hauteur par 4 de diamètre, il est couvert d'un toit en tuiles plates, coiffé autrefois d'un "clocheton" en essaumes (tuiles de bois). Les murs épais sont percés au rez de chaussée d'une petite porte et de deux petites fenêtres. A l'étage une ouverture avec un linteau en plein cintre devait permettre d'accéder avec une échelle au pigeonnier/colombier proprement dit. L'accès ou les accès pour les pigeons ne sont plus visibles. (NB: Beaucoup de pigeonniers observés en Morvan présentent une pièce basse au rez de chaussée et à l'étage une poutre centrale verticale doublée d'une échelle qui pivotant sur elle-même entre le plancher et la faitière permettait d'accéder aux niches.)Nous n'avons pas d'autres informations sur cet élément que nous n'avons pu observer que de l'extérieur.