Le bourg, au XVIe siècle, était protégé par des murailles et fossés. Leur date de construction reste méconnue et cette défense fut détruite fin XVIIIe. La carte de Cassini (v 1750) indique bien le bourg fortifié. Baudiau cite plusieurs archives. En 1587 , "Jacques de Jaucourt, seigneur de St-Andeux et de Rouvray et les habitants adressèrent au roi Henri III, une supplique" pour lever un impôt permettant les nombreuses réparations des murailles et fossés. De même, entre 1629 et 1681, des lettres patentes du roi Louis XIII l'attestent aussi. Le tracé des ces fortifications reste à préciser mais se devine partiellement sur un plan ou une photo aérienne ainsi que sur la configuration de certaines rues. À noter que dès le XVe, le château fort de Rouvray était en ruine.