D'après l'abbé Baudiau, l'église occupe l'emplacement d'un "vieux château dont on combla les fossés lors de la réédification [de l'église en 1768]" Le CECAB note que l'église "occupe un petit replat qu'on aurait pu fossoyer sans mal". Il n'y a pas de mention d'archive évoquant un château à Barnay mais il y existait une famille importante au XIIe siècle (Hugues de Barnay v. 1150).Une source locale raconte qu'il a toujours entendu parler d'une ancienne chapelle (castrale?) détruite il y a longtemps, mais à Barnay Dessus. Aucun château n'apparaît à Barnay sur la carte Cassini. Nous n'avons pas d'autres informations.