Au nord du bourg, le château d'Arcenay date au moins du XIVe siècle et fut remanié au XVIIIe. La terre d'Arcenay était importante et ses propriétaires, depuis le XIIe siècle, furent nombreux: familles Arcenay, De Couches, Conygham, Gorrelier, de Chargéres…Certains éléments du XIVe subsistent dans sa partie centrale. Baudiau cite les "anciens fossés qui ont fait place à d'élégants jardins". Il fût reconstruit au XVIII siècle par l'architecte Jean-Baptiste Carisitie selon un style classique avec les deux ailes rectangulaires (1748). Il est nettement indiqué sur la carte Cassini (v 1750). Le château possède également des dépendances, une grange et un pigeonnier dont le toit a été détruit dans la première moitié du XX siècle (les boulins sont toujours visibles). Le cadastre 1823 nous montre bien son plan.