Les seigneurs d'Assas sont mentionnés dès le début du XII siècle. Le domaine est vendu en 1486 par Hugues d'Assas à Guillaume Bonnal, marchand montpelliérain, auquel succèdent ensuite plusieurs propriétaires : les Pluviès, la famille Montchal, enfin Joseph de Boyer, marquis de Sorgues, lieutenant du roi en Languedoc. Celui-ci le vend en 1747 à Jean Mouton de la Clotte.
Le nouveau propriétaire est issu d'une famille de modestes marchands ayant fait fortune à Montpellier. Devenus banquiers, les Mouton sont anoblis au début du XVIII siècle et achètent le château de la Clotte dont ils prennent le nom. Jean Mouton de la Clotte décide de faire abattre le château féodal d'Assas qu'il vient d'acheter et d'y faire construire une résidence d'été en 1759-1760. C'est l'édifice que nous connaissons aujourd'hui.
Ses descendants conserveront Assas jusqu'à la Révolution. Cette période ne provoquera guère de dommages : en 1789, quelques révolutionnaires pénètrent dans le bâtiment et martèlent aux frontons les armoiries des Mouton (deux moutons affrontés sous un olivier), activité bien vite interrompue par les villageois venus défendre leur château.
Au cours du XIX siècle, divers autres occupants vont se succéder et effectuer des transformations plus ou moins heureuses mais aucune n'est dommageable à l'édifice. C'est en 1949 que Robert Demangel, ancien directeur de l'École française d'Athènes en fait l'acquisition. Il appartient aujourd'hui à ses héritiers.
Le château servit de cadre au tournage de La Belle Noiseuse, film de Jacques Rivette en 1991, et du Retour de Casanova d'Édouard Niermans en 1992. Il se visite sur demande ou lors des Journées du patrimoine.
