Non loin de la route reliant Chevannes à Brazey-bas, se trouve le château des anciens seigneurs de Brazey. Le site était déjà occupé à l'époque gallo-romaine et se trouve à proximité de la via Agrippa. La date de construction primitive pourrait remonter au XIIe siècle. L'abbé Baudiau évoque "Labaud de Brazey, seigneur du lieu, vivait en 1160". Il fut reconstruit au XVIIe siècle, en 1666 et remanié à la fin du XVIIIe siècle.
Après 1502, la terre des seigneurs de Brazey est passée dans la maison de Jaucourt, famille originaire de Champagne. Au XVIe siècle, la famille de Jaucourt devenue protestante dut quitter le royaume après la Révocation de l’Édit de Nantes. En 1974, l'écrivain Jules Roy fit l'acquisition du château. Il appartient aujourd'hui à la famille de Montalembert.
À l'arrière du château subsistent des vestiges du château féodal: murs, tours et de fossés sont encore visibles dans la végétation. Baudiau explique que le manoir seigneurial possédait avant six tours qui disparurent lors de la reconstruction. Il décrit un édifice composé de "trois principaux corps de bâtiment, au centre desquels est une grande cour carrée. Une ceinture de fossés, à demi comblés, entourait cet ensemble. On y pénètre en traversant un pont-dormant et un portail, que précédait autrefois une longue avenue bordée d'arbres communiquant avec la voie publique. Ses alentours étaient alors fort remarquables."Il est possible que le château ait possédé un colombier car en face se trouve un pré que l'ancien cadastre nomme "ouche du Colombier". Cependant, il n'y a aucune trace de construction, et Courtépée n'en mentionne pas l'existence.
Aujourd'hui le château a conservé son aspect XVIIe, malgré quelques transformations. Le pont dormant et le portique ont été détruits dans les années 1950 pour permettre aux machines agricoles de passer. La mémoire locale pense que les décombres ont servi à combler les fossés. À l'ouest, les angles sont pourvus d'échauguettes; l'une a été partiellement détruite et il n'en subsiste que la plateforme. Au sous-sol ont été conservées les cuisines du XVIIe siècle. D'après Paule Bertrand dans sa monographie de Brazey, "la grande cheminée a gardé une très belle crémaillère pivotant sur un axe excentré; au sol une très grande dalle creusée permettait l'évacuation directe des eaux usées; près de la fenêtre, un potager, propre à cuisiner hors de la cheminée, y est constitué d'une large pierre monolithique creusée de cinq trous en dessous desquels on pouvait étaler de la braise." Le château possède plusieurs dépendances, un parc arboré et un grand verger.
L'imbrication entre les éléments médiévaux et ceux de l'époque classique mériterait un complément d'information.