Dans le bourg se trouvait le château ou maison seigneuriale des seigneurs d’Ouroux, non daté et non localisé avec précision. Ouroux était le siège d’une importante seigneurie, annexée au comté de Château-Chinon . Son terrier fut refait en 1575. Le baillage comprenait aussi Planchez, Fretoy et Montsauche, en partie. Quel architecture et quant a-t-il été detruit ? La carte Cassini (v 1750) ne mentionne que l'étang d'Ouroux (et deux autres) mais pas de sigle indiquant un château. Baudiau (1865) pense que le manoir "se trouvait à l'est du bourg, non loin du lieu nommé autrefois le Château-des-Dames". Selon la mémoire locale, ce château se serait trouvé en limite sud est de l'étang d'Ouroux. A noter un vivier, sans doute plus récent, en proximité. Nous n'avons aucune autre information.
Cet élément important pour l'histoire d'Ouroux, mériterait d'être mieux étudié et localisé.