À Villarnoux, sur les bords du Creuzan, se trouve l’ancien château seigneurial des seigneurs du même nom, d'origine imprécise (XIIe ? ), remanié et rebâti un peu au sud, au XVIe siècle. Une archive (sce Cecab) cite le château déjà en 1212. Villarnoult était une baronnie mouvante du duché de Bourgogne. Le château fut détruit au XVe siècle par les troupes du roi Louis XI. En effet, le seigneur de Villarnoux s’étant déclaré en faveur de Marie de Bourgogne, fille de Charles le Téméraire, le roi envoya son lieutenant Charles d’Amboise ruiner tous ses châteaux, en 1478. Le château fut reconstruit au XVIe siècle, à quinze mètres au sud de l’ancien. À la même époque, les seigneurs de Villarnoux embrassèrent la Réforme, et la chapelle castrale devint un temple protestant. Au XVIIe siècle, Jean-Philippe, marquis de Villarnoult fut un des commissaires du roi pour les affaires du calvinisme mais dut quitter la France après la révocation de l’édit de Nantes (1685). Le château est vendu comme bien national en 1792 et ses terres sont confisquées. Sur la carte de Cassini (XVIIIe), il est indiqué en ruine. Anne-Louis-Alexandre de Villarnoult, qui était parti en exil, les récupéra en 1804 mais ne souhaita pas racheter le château, alors bien délabré. La porte cochère de la première enceinte fut démolie en 1862, et les fossés furent comblés la même année. Du château féodal subsisterait la chapelle qui se trouvait semble-t-il au même niveau que le premier étage des appartements du château. Dessous se trouve un caveau où étaient enterrés les seigneurs de Villarnoux. Le Cecab cite une poterne avancée, l’étang asséché, ancien fossé et des archères canonnières. Aujourd’hui, on observe un bel édifice en fer à cheval, orienté au sud, sur deux niveaux, couvert en tuiles plates de Bourgogne. Les traces de l’ancien pont-levis sont encore visibles.De l'autre côté de la route, on observe un petit bâtiment sans toit avec un linteau sculpté. Le Cecab a bien étudié le site et ses évolutions et a réalisé des plans montrant l'importance de l'ancien château.