Une maison forte citée en 1351 précéda le château actuel de Saint Léger. Le Cecab la date de 1351et appartenant à Guillaume Le Tailleur. Il la décrit formant un modeste quadrilatère avec des murs très épais et une tour carré qui subsiste encore. Il pourrait s'agir de la maison forte de Champs évoquée par Baudiau: "on n'y voit aucun vestiges de l'ancienne maison-forte dont Philippe de Champs, écuyer, fit aveu en 1466". Elle a appartenu du XIVe au XIX me à la famille de Champs. Indiqué sur la carte de Cassini (XVIIIe), ce château fut agrandi au XVII ème siècle : le bâtiment principal est allongé au nord et surélevé à un étage et flanqué de deux pavillons rectangulaires. La grille d'entrée est surmontée du blason de la famille De Champs de Saint-Léger. A la fin du XVIII ème siècle, une tour rectangulaire est construite sur la façade ouest et une aile perpendiculaire est ajoutée au côté sud. Pendant la Révolution et l'Empire, le château fut placé sous séquestre.
Aujourd'hui, la vaste propriété se distingue par le château, son parc, jardins et ses vastes dépendances. Inscrit aux MH, il est visitable à certaines périodes.
A noter en proximité l'ancien voie antique et royale partant de Château-Chinon qui est bien dessiné sur la carte Cassini.