Le palais de la Berbie est construit au XIII siècle sous l'impulsion de Durand de Beaucaire, évêque d'Albi. L'édification d'une telle construction permet de protéger les évêques d'Albi, devenus les maîtres de la ville après la croisade des Albigeois, des hostilités des Cathares et des bourgeois de la ville. Elle permet aussi de se protéger d'éventuelles attaques extérieures et de renforcer la présence de l'Inquisition. Durand de Beaucaire fait construire le donjon haut de cinquante mètres, les quatre tours et les murailles. Il entoure le palais de courtines et de remparts extérieurs jusqu'au Tarn. La fonction défensive de l'édifice est renforcée par ses successeurs, Bernard de Combret et Bernard de Castanet.
À partir du XVII siècle, le palais devient une résidence épiscopale. Les fortifications sont détruites et l'édifice est transformé. Les jardins sont construits en 1678.
En 1905, le palais abrite le musée d'Albi. Après la mort du peintre Henri de Toulouse-Lautrec en 1922, il devient le musée Toulouse-Lautrec, abritant de nombreuses œuvres de l'artiste.
Le palais est classé au titre des monuments historiques en 1862 ; certains décors intérieurs le sont le 14 septembre 1965. En 2010, il est inclus avec la cathédrale Sainte-Cécile dans le site de la cité épiscopale d'Albi, inscrite en 2010 par l'UNESCO sur la liste du patrimoine mondial.