A la sortie sud ouest du bourg, à Vannoise, se trouvait un prieuré du XIe, à l’emplacement ou proche du château actuel du XVIIIe s. Selon Baudiau, il aurait été "fondé par un saint prêtre, Hugues de la Roche (ndlr: de la famille des seigneurs de La Roche Millay) qui le donna, en 1070, au prieuré de la Charité". C'était donc un prieuré clunisien dépendant de la Charité-sur-Loire. Il avait droit de "haute, moyenne et basse justice et jouissait de rentes, revenus de terres et bois.." .Il est fréquemment mentionné dans des archives jusqu'au XVIIe s. La même source, v 1854, écrit : "on y voyait, au XVIIIe siècle, une grande église dite Notre-Dame de Vanoise dont il ne reste pas de vestiges...". Curieusement, la carte Cassini du XVIIIe s n'indique que le hameau Vannoise sans batiment religieux ou seigneurial. Le château daterait donc de la fin du XVIIIe. Selon le CeCaB, se basant les plans du cadastre napoléonien, le prieuré aurait peut-etre pu être entouré de fossés. L'inventaire de Bibracte cite quelques vestiges dans l'actuel château ou demeure bourgeoise. Restant à visiter, sa date de destruction est egalement à préciser.