Au X siècle, Frédéric, duc de Haute-Lorraine décide de construire un château fort pour protéger ses terres. Il choisit un éperon rocheux dominant la vallée de l'Omain, entouré de deux ravins et ouvrant sur un plateau (l'actuelle ville haute de Bar le Duc). Au XII siècle, les ducs de Bar décident de s'établir à Bar plutôt qu'à Mousson. Ils font réaliser des travaux sur le château. L'éperon est alors entouré d'une double enceinte qui abrite outre le château, une collégiale et différents bâtiments. Elle héberge une garnison, un arsenal et tout pour pouvoir soutenir un siège.
Au XV siècle, le château s'embellit et devient une résidence richement meublée. Le duc René II (1473-1528) contribue largement à cet embellissement. Une salle de réception, la Grande galerie, est construite sur le flanc nord-est et la première ligne de défense du château devient un jardin à l'italienne.
Mais à partir du XVII siècle, les ducs de Bar et de Lorraine délaissent Bar-le-Duc et le château est quelque peu laissé à l'abandon. En 1649, il est ravagé par un incendie. Plusieurs fois occupé par les troupes royales françaises, il est détruit sur ordre de Louis XIV qui veut ainsi punir la politique anti-française du Charles IV de Lorraine. Seule la tour de l'horloge, du fait de son utilité pour la population est conservée en partie.
À la révolution, la collégiale Sainte-Maxe est détruite.
Du château ducal, il ne reste que le bâtiment qui abritait la Cour des comptes ducale. Ce bâtiment date de René II qui l'avait fait construire pour abriter le trésor des Chartes. En 1523, une salle d'audience fut rajoutée par le duc Antoine, que Charles III fit compléter d'un corps central et de deux ailes. Ce bâtiment abrite désormais le musée Barrois.
Devant une vaste esplanade, ancien site de la collégiale, offre une vue sur la ville basse, le collège Gilles-de-Trèves et des vestiges des anciennes fortifications du château.
