Rue du centre subsiste la maison du Bailly d'origine et des remaniements imprécis. Communément appelé la porte du Centre, elle était la maison du bailli, créée par le roi en 1395. La Chambre du Conseil se situait au-dessus de l'arcade. Cet élément se situe dans la deuxième enceinte de la ville, construite à la fin du XVIe siècle et dont de nombreux témoignages subsistent (tours, remparts, porte Notre-Dame, rue des Fossés…voir fiche). Château-Chinon n'appartenait ni au Duché de Bourgogne, ni au Duché de Nevers mais relevait du roi de France du Roi. Le bailli de Château-Chinon, nommé par le seigneur, peut prononcer la peine capitale, et sa juridiction s'étend à la ville, à ses alentours et à une partie des paroisses voisines. Selon une archive de 1636 de Baudiau, ils "tenaient leurs audiences et expéditions de causes, dans une grande salle haute, lambrissée, et voutée jusqu'en haut du toit. Au dessous de cette salle, se trouvait les prisons et les cachots...en mauvais état". Un plan ancien du bourg dessine l'ensemble avec la halle mitoyenne. Aujourd'hui la rue traverse le batiment, couvert d'un long toit, par une étroite arcade.