L'ancien château fort de Rouvray, disparu, daterait, au moins du XIIIe siècle. Si nous ignorons sa date de construction, au XIe, la seigneurie appartenait à la famille de Rouvray. Plusieurs propriétaires se succédèrent dont la famille de Jaucourt. À la destruction du château, les habitants furent "retrayants du château de Villarnoult", d'après Baudiau qui le cite en ruine en 1578. Le Cecab cite une archive de Courtépée en 1461 qui fait "mention du château jadis fortifié, en masures depuis longtemps." La carte de Cassini n'indique qu'un bourg fortifié, sans château. Nous n'avons pas d'autres informations. Actuellement, il ne subsiste aucune construction mais seulement des vestiges de terre. Selon le Cecab, "du château qui semble avoir été considérable, il ne reste qu'un tertre ovale, large de 50 à 60m, haut de 3 à 4 m, aujourd'hui en jardin." Le plan du bourg en garde le tracé ainsi qu'une "rue du Château".