Selon Baudiau, à l'origine, l'église était une chapelle rurale (non datée) dédiée à la Saint-Vierge et celle actuelle date du XVII e siècle. Longtemps les habitants dépendaient de la paroisse de St Brisson et de Montsauche. La paroisse de Gouloux, jadis du diocèse d'Autun, a été érigée en 1644 mais comme "succursale et secours de St Brisson" et en 1835 officiellement comme paroisse. Sur la carte Cassini (v1750) , sous le nom de "Goulou" est mentionné "succ." pour succursale. Nous n'avons aucune indication quand à l'aspect et l'emplacement exacte de cette chapelle: pourtant la seigneurie de Gouloux est attesté au VII e s et peut être plus (Courtépée avance au Ve le nom de Gubilium). L'église actuelle fut construite ou, reconstruite selon Baudiau, en 1663, et passa sous le vocable de Saint-Joseph. La construction de sa tour-clocher-porche date de 1846 ainsi que l' agrandissement du chœur "de trois mètres". Autrefois le cimetière était autour (jusqu'en 1862). Dans le nouveau cimetière se trouve une croix du XVIe siècle, classée Monuments Historiques. Localement on dit qu'elle venait du château du Meix Roblin et qu'elle fut placée dans le cimetière en 1862. Aujourd'hui sur un plan allongé, on accède à la nef et au chœur (tous deux enduits en façades ) par la tour clocher qui comprend un discret portail. Cette tour-porche surmontée d'un fin clocher en ardoise est bâtie avec de très belles pierres taillés en granit, surement issues des carrières de la foret de Chenue (à confirmer).