Le 8 mars 1864, la ville de Marseille charge Henri-Jacques Espérandieu de dresser les plans et d’établir les devis pour la construction d’un bâtiment devant recevoir la bibliothèque et l’école des Beaux-Arts. La parcelle en forte déclivité pose des problèmes techniques et oblige l’architecte à prévoir des fondations à grande profondeur notamment pour la partie nord. Les plans sont réalisés en 1865 et les travaux commencent. Après une interruption due au manque de financement et à la guerre de 1870, les travaux reprennent en 1872. Ils ne seront pas terminés à la mort d’Espérandieu survenue le 11 novembre 1874. Joseph Letz et Gaudensi Allar, inspecteur et conducteur des travaux, achèveront avec le plus grand soin l’œuvre de leur ami.
La mise en place du mobilier en chêne est réalisée par Letz en 1877. La décoration de la salle des fêtes est effectuée en 1894 par Dominique Antoine Magaud, directeur de l’école des Beaux-Arts.
La construction d’une nouvelle bibliothèque rue du 141e R.I.A. et celle d’une école des Beaux-Arts à Luminy nécessitèrent une réorganisation du bâtiment. Par délibération du 28 octobre 1968, le Conseil Municipal décida l’installation des archives municipales dans les locaux de l’ancienne bibliothèque. En 1971, la salle des fêtes est affectée aux répétitions des ballets de Rolland Petit. L’inauguration des archives a lieu le 14 mai 1973 tandis que le Conservatoire National de région de musique prend place dans les salles de l’école des Beaux-Arts. La création d’une école de danse permet l’extension des archives qui sont finalement transférées le 22 janvier 2001 dans les locaux réhabilités de la manufacture des tabacs de la Belle de Mai, 10 rue Clovis-Hugues dans le 2e arrondissement. Le Conservatoire National de région prend le nom de Pierre Barbizet lors de son décès survenu le 19 janvier 1990.
Le bâtiment est classé monument historique le 18 novembre 1997.