A la limite de l'enceinte du château, il existait une chapelle du prieuré de Saint Germain (époque médiévale, non datée) dont le patronage appartenait au prieur de Brassy. La paroisse de Chastellux n'ayant été érigée qu'en 1677 (auparavant les habitants dépendaient de la paroisse de Saint André en Morvan), la chapelle devint l'église paroissiale Saint Germain avec l'accord des de Chastellux. Il ne reste de l'ancien édifice que la nef et la tour-clocher (Baudiau), de style roman. En 1822 César-Laurent, comte de Chastellux, fit construire le chœur avec une voûte d’arête, les deux chapelles et en-dessous une crypte sépulcrale.