A Railly, dominant le lac du Crescent (1929) et la Cure, se trouvait un château-fort féodal du XIIIe (ou antérieur?), remanié au XVII et reconstruit au XIXe siècle. Selon le CeCaB il aurait brulé au XVIe et fut rebâti "au XVIIe... sur le même plan triangulaire flanqué de trois tours aux extrémités". La terre de Railly, fief dans la mouvance du comté de Chastellux, appartenait en 1280 à Guyot de Railly. Nous ne connaissons pas la date précise de construction de ce château. Il est bien indiqué sur la carte Cassini (XVIIIe). En 1739 il se composait de « deux corps de logis, flanqués de quatre tours et d’une petite cour ou donjon, fermée de murailles, avec les aisances, cour, jardin… ». En 1764 il ne comportait plus que deux tours, et fut vendu par Antoine d’Escorailles à Nicolas-Marie Chauveau, qui le revendit en 1781 à Jean-Louis de Morot de Grésigny pour la somme de vingt-huit mille livres. Pendant la Révolution, le château de Railly accueillit, à l’instar de celui de Lautreville, des prêtres réfractaires. En 1806, le château fut vendu à Léonard Houdaille. Son petit-fils, Achille, fit ajouter, en 1860, deux tours aux anciens bâtiments, et de grands corps de logis. Aujourd’hui le château a un aspect XIXe, sur un plan en équerre, sur deux niveaux, pourvu à chaque angle d’une tour coiffée d’un toit conique. Le tout est couvert en ardoise. Le château comporte un grand parc et des dépendances (corps de ferme). Il se trouve près du bassin de retenue du lac du Crescent, et à proximité du pont de Railly (début XIXe). Une grande ferme avec une belle villa vénitienne dépendant anciennement du château se trouve au nord de celui-ci.