Dans le cartulaire de l'abbaye de Saint-Victor à Marseille, le castrum de la Barben est déjà mentionné en 1009 ; on ne connaît pas sa date de construction, probablement antérieure à 1000. Il fut la propriété de la famille de Pontevès. Au XV siècle, propriété du roi René, ce dernier le vendit en 1474 à Jean II de Forbin, frère de Palamède de Forbin, dit le Grand, qui fut l'artisan de la réunion de la Provence à la Couronne de France en 1482.
Il resta la propriété des marquis de Forbin pendant près de 500 ans.
La princesse Pauline Borghèse (née Bonaparte, sœur de Napoléon Ier) y vécut des amours tumultueuses.
Le château et le jardin ont été classés monument historique le 21 décembre 1984 par le ministre de la culture.