En contre-bas du château et à l'ouest, un bâtiment ancien a abrité une maison religieuse au XIXe siècle. Le bâtiment doit être antérieur à l'arrivée des religieuses puisqu'il apparaît sur le cadastre de 1826, mais nous ignorons l’affectation première de ce bâtiment avant 1862, peut être une dépendance du château. Sous la dénomination "Maison de sainte Thérèse", elle fut fondée en 1862 par M. et Mme Amelin (ancien préfet de la Marne et sous préfet d’Avallon), propriétaire du château, en souvenir de leur fille décédée à l’âge de 21 ans. Les sœurs de la Charité ou de St Vincent de Paul s’occupaient de l’éducation des jeunes filles et des soins aux malades, jusqu’en 1906. La mémoire locale nous apprend que des Dominicaines des campagnes dont le siège est à Luzarches, et qui étaient impliquées dans la vie paroissiale, quittèrent Island dans les années 1980.
Cette longue bâtisse, comportant dépendances et remises, habitat a gardé son aspect. Il abrite aujourd'hui l'atelier d'un potier.