Au nord-ouest du bourg, à la Vallée, subsiste les vestige d'un manoir seigneurial ou château du XVIIe ou XVIIIe. Selon Baudiau, La Vallée-de-Millay...sur la rive gauche de la Séglise, possede un manoir du XVIIIe s. Le château, avec ses dependances, formait une seigneurie en toute justice, mouvant en fief du donjon de La Roche-Millay". En 1405, la terre appartenait à Guy Moreau, puis à la maison d'Arlay (dont Charles, célèbre pour ses violences...) et au XVIIIe s à Charles-Leopold , marquis de Jaucourt. La carte Cassini du XVIIIe indique le hameau mais sans château. Mr Niaux daterait le château, plutôt du XVIIe par "une porte à fronton brisé".
Aujourd'hui on observe un pavillon, enserré dans d'autres batiments, de plan carré d’un étage avec cave et combles aménageables et lucarnes de toit, couvert d'un toit à quatre pans. Deux insciptions latines et grcques se trouve pres de la cheminée en ruine . Selon Niaux ,celle traduite du latin signifie "Casse la noix, si tu veux manger son fruit" et du grec 'Si quelqu'un ne veut pas travailler, qu'il ne mange pas, ou bien qu'il mange ce que les dieux vondront bien lui donner". Elles trahissent bien les convictions morales du propriétaire. L’intérieur du batiment n'a pas été visité et nous n'avons pas d'autres informations. Un prieuré du XIIIe a pu également se trouver au hameau (voir fiche).