Au sud du bourg, dans le hameau d'Esfours dans un pré, se trouvait une maison forte médiévale . Son origine est imprécise et il ne restait aucun vestige à l'époque de Baudiau (v. 1850). Elle est parfois appelée "Le château de la Tour". La terre d'Esfours était un fief en toute justice dans la mouvance de l'évêché d'Autun. Guy de Vignolles en était seigneur en 1260 et Jeanne d'Aligny, femme de Jean de Menessere, vendit Esfours en partie en 1296. Une mention en 1400 cite une tour et une maison forte. Cette maison forte possédait, selon Baudiau, une chapelle seigneuriale qui fut visitée par l'évêque en 1684, et qui fut longtemps fermée car le fermier occupant la terre était calviniste. La carte de Cassini (v. 1750) indique bien un château à Effour le long de la route royale Paris-Saulieu-Autun, mais pas l'étang, qui sera pourtant indiqué sur le cadastre de 1842. Cet étang dont on voit encore très bien les limites et qui longeait la D106b, est aujourd'hui asséché et un embranchement de route emprunte l'ancienne digue.Des témoins locaux ont mis au jour quelques objets de fouilles et "un parement de mur au milieu d'éboulis" (src: Cecab). La mémoire locale nous dit qu'il y aurait des "caves". Cet élément mériterait d'être mieux étudié.