En 1014, un acte attribue aux Bénédictins de l’abbaye Saint-André de Villeneuve-lès-Avignon la possession des églises qui sont ou seront sur le Mont de Thouzon, avec leurs dépendances. Ingilramnus, évêque de Cavaillon, confirme cette nouvelle implantation dans son diocèse en 1014 en lui donnant des biens.
Raymond IV de Saint-Gilles, comte de Toulouse, en 1088, avant de partir pour la première croisade transforme l'abbaye de Thouzon en fief allodial. En 1096, le pape Urbain II confirme la possession de Thouzon à l'abbaye de Saint-André en ne citant que Saint-Pierre-de-Thouzon.
En 1118, le pape Gélase II concède de nouveaux privilèges à Saint-Pierre-de-Thouzon.
C'est en 1140, que Alphonse Jourdain, marquis de Provence et comte de Toulouse, ratifie au château de Pernes la dotation du fief de Thouzon à Saint-André. En 1162, le comte de Toulouse, Raymond V, crée le fief de Thouzon et concède au seigneur de Chateauneuf de Gadagne une partie de sa suzeraineté sur un territoire dont fait partie Thouzon.
En 1202, Thouzon perd son statut de premier prieuré de Saint-André sur le rive gauche du Rhône. Dans un acte d'échange entre l'évêque de Cavaillon et l'abbé de Saint-André, les moines deviennent les seuls propriétaires des deux églises Sainte-Marie et Saint-Pierre mais sont toujours soumis à l'autorité de la maison de Toulouse.
En 1396, le château est occupé par les soldats du vicomte Raymond de Turenne. Gaston de Montecatino les en chasse.
En 1563, pendant les Guerres de religion, le Baron des Adrets s'introduit dans le domaine de Thouzon.
En 1696, l'abbé de Thouzon vend le château et les terres à Joseph de Martin, archiviste et secrétaire d'état. Il appartient ensuite à la famille Merle de Beauchamp jusqu'à la Révolution française.
A partir de la fin du XVII siècle, les propriétaires ultérieurs laissèrent les bâtiments se dégrader.
