Un peu au sud de l'église et dominant la vallée de l'Anguison, se situe un ancien édifice seigneurial d'origine imprécise. Son origine et sa dénomination restent méconnues: localement appelé "le château", Baudiau le cite comme pavillon. Il a plus l'aspect d'une demeure seigneuriale non fortifiée. En tous cas, le fief de Tartre-de-Vaucloix était tenu en 1310 par jean Dando et relevait de la châtellenie de Montreuillon. Baudiau en cite les divers propriétaires jusqu'au XVIIIe siècle. Au regard du cadastre de 1829 et de cartes postales anciennes, l'édifice sur un plan carré, ne comportait qu'un rez-de-chaussée surmonté d'un long toit à quatre pans en tuile plate avec une grande dépendance. Nous n'avons aucune autre information sur le bâtiment d'origine et la date de construction, sur d'éventuels remaniements. A noter que Vauclaix possédait un château fort, non localisé dans le village. L'histoire de cet élément mériterait d'être mieux connu.
Aujourd'hui restauré et avec des "chiens assis", peu visible de loin, il semble avoir conservé son aspect architectural ancien avec son toit à quatre pans.