Gouvault était le siège d'un château attesté au XVIIIe, mais d'origine méconnue. Les terres appartenaient à la famille de Borne citée en 1412, lors du siège de Château-Chinon, et François Ier de Borne de Gouvault, écuyer, sieur du lieu en 1649. Louis XIV leur accorda des lettres de noblesse en 1710. Gouvault (et Razelot) fut érigé en fief par le comte de Château-Chinon en 1776 en faveur de César-Gabriel de Borne seigneur de Gouvault, moyennant une somme de 1000 livres et une rente noble de dix : "Voulant donner des preuves de notre amitié pour ledit sieur de Gouvault et lui procurer autant d'avantages qu'il est possible, nous lui avons, par ces présentes, inféodé, érigé et créé en fief une maison basse, avec un pavillon à chaque bout". Selon Baudiau, dans la chapelle de l’église, "au XVIIe s la famille de Borne de Gouvault y avait droit de sépulture". Cette famille et le "fief noble" sont mentionnés encore 1844.
Curieusement, la carte de Cassini du XVIIIe siècle n'indique pas Gouvault mais Raselot-le-Haut et le Bas et aucun château en ce lieu. Gouvault était-il Raselot-le-Bas ? Il semble que Raselot soir devenu l'actuel hameau de Gouvault.
Aujourd'hui, le château à gardé des aspects correspondant à la description ci avant précédemment au XVIIIe, bien qu'il ait été remanié et qu'un pavillon manque.Selon la mémoire locale, il y aurait eu une chapelle dans la tour carrée.
On observe un corps de logis (de deux niveaux) flanqué d'un pavillon avec une tour carrée. Très bien restauré, il est couvert en ardoises. Des dépendances et un étang complètent la propriété.