Dans le centre bourg se trouvait un château fort, probablement du XIIIe siècle communément appelé la Tour forte de Liernais. Selon Baudiau, en 1673 ce château était "encore debout" et "servait de logement aux fermiers de la châtellenie et de grenier pour leurs grains". La carte de Cassini (v 1750) n'indique pas de château à cette periode. En 1846, des pans de murs, hauts de 10m et épais de 2m existaient encore (source: CECAB). En 1854, Baudiau ne constate que quelques ruines et "une ceinture de fossés profonds, renfermant l'[ancienne] église et le cimetière". Notons ce qui est appelé "l'église" était la chapelle castrale d'origine romane surplombée d'une tour-clocher et dont la nef fut agrandie de près de moitié en 1846, avant d'autres modifications qui en firent l'église paroissiale actuelle.Aujourd'hui dans le cimetière et appuyé contre une maison, on observe un pant impressionnant de mur, épais de plus d'un mètre et haut d'environ 3m. La parcelle du cimetière, toujours autour de l'église, est "légèrement arrondie et un peu surélevée par rapport au village (CECAB et plan joint)" ce qui permet d'imaginer l'emplacement du château médiéval.