Dans un val, au NE du village, se trouve le château d'Argoulais du XVIIIe siècle remanié au XIXe et peut-être construit à l'emplacement d'une ancienne maison forte antérieure au 15e. Baudiau ne cite pas Argoulais comme une ancienne maison forte, mais comme le CeCaB le rappelle "celle-ci apparaît dans un autre développement, comme brûlée par les Armagnacs avec d'autres maisons fortes, en 1412". Le fief d'Argoulais appartenait en 1504 à Pierre de Marry, écuyer, qui le vendit à Dimanche Vaucoret, lieutenant au bailliage de Château-Chinon. A noter que Pierre de Marry possédait également le fief de la Motte Vacheresse où se trouvait une maison-forte détruite à une date indéterminée. La famille Loron est egalement cité comme propriétaire du fief. Argoulais n'apparaît pas sur la carte Cassini (XVIIIe). Le château d'Argoulais actuel est assez important et a été bâti au XIXe siècle par Andoche Parthiot, architecte à Château-Chinon, pour la famille de Chabannes. La chapelle, bâtie en 1859, sur les plans de Parthiot, est un petit édifice gothique.