A l’entrée du bourg, un très ancien pont fut reconstruit et restauré entre le XIIe siècle et le XIXe. En bois puis en pierre,et à trois arches aujourd'hui, il permet de traverser le Cousin. Mais nous ignorons la date exacte de sa reconstruction en pierre, sur cette voie très fréquentée depuis 2000 ans, à l'époque gallo-romaine, médiévale....
Le premier pont de bois, à qui l’on doit le nom du village, aurait été construit vers 840 par Aubert, comte d’Avallon et frère de Robert le Fort. L’abbé Lacroix et M. Prévost , se basant sur les recherches de l'abbé Parat ont écrit a propos de ce pont : « C’était certes un privilège, mais aussi bien un réel avantage, voire une nécessité. La voie romaine, dûment transformée, devenait à la fois une grande route de pèlerinage reliant Autun à Vézelay par Avallon, et malgré les guerres de Cent Ans ou de Religion, un important chemin commercial en raison de l’institution des grandes foires aux entours de 1500. L’entretien du pont incombait aux habitants de Pontaubert qui le réparèrent en 1583, 1627, 1691, et 1753 . Au XVIe siècle, le pont était en limite des fortifications du village. La carte cassini (XVIIIe) indique bien la route royale traversant le bourg. En 1832, l’ingénieur Belgrand fit sur cet ouvrage l’essai du fameux ciment de Vassy qui venait d’être récemment découvert. ». Certains pensent que le pont fut rebâti en pierre vers 1500. Les piles du ponts devaient aussi résister aux millions de bûches flottées à partir de 1704 sur le Cousin (de 1550 à 1850 le Morvan a chauffé Paris via ses rivières Yonne, Cure).
L’architecture du pont actuelle est celle de 1832 avec des réfections du tablier et des joints en ciment à la fin du XXe siècle.
Il reste en très bon état, avec ses deux piles, ses trois arches, son parapet en pierres de taille, et avec son cachet, toujours trés fréquenté.