Au centre du bourg et en face de la mairie, se trouvait dès le XIIe siècle, un « hôtel de la Commanderie » de l’ordre des Hospitaliers. Geoffroy du château d’Arcy fonda en 1190 une commanderie des Templiers à St Bris. Son frère cadet Jocelin de Vault de Lugny fonda une commanderie pour les Hospitaliers de St-Jean de Jérusalem en 1167 à Pontaubert qui « régna » jusqu’en 1658. Les Hospitaliers se consacraient davantage aux malades, pèlerins et indigents, ce qui en proximité de Vézelay et Avallon et des voies importantes de circulations, prenait toute son importance ici. Ils bâtirent en sus de la Commanderie, une église, une léproserie, la citerne enterrée devant l’église ...mais aussi tous les bâtiments agricoles, viticoles , d'accueils des pèlerins et autres nécessaires à leurs ressources ou activités. A la suppression de l'ordre des Templiers en 1311, les Hospitaliers furent nantis de leurs domaines. Ainsi, la Commanderie de Pontaubert hérita et administra l'ancienne commanderie templières d 'I'sland-le Saulce avec son très vaste domaine agricole et forestier. On peut imaginer leur richesse. Le curé de l’église portait l’habit marqué de la croix. La carte Cassini (v 1750) indique bien par une croix particulière sur le sigle de l’église, le domaine des Hospitaliers. Le bourg conserve toujours leurs ouvrages: la très belle église et la citerne, et les vestiges de la commanderie et de la léproserie.
Si nous ignorons l'architecture et la disposition du ou des bâtiments, le bâtiment principal de la commanderie fut très remanié comme en atteste le cadastre de 1838 : orientations des faitages, élévations, façades, baies et nouvelles constructions…. On peut voir encore au sud, la tour-escalier et la galerie et en façade, le long de la départementale, des vestiges des baies anciennes. Mais les bâtiments ont perdu toute l’importance et la splendeur qu’ils devaient refléter.