Le château de Saint-Élix-le-Château a été édifié entre 1540 et 1548 à la demande de Pierre Potier de la Terrasse, secrétaire et notaire de François I, Capitoul, maître des requêtes et président du Parlement de Toulouse. Il reflète la réussite de son propriétaire. C'est Laurent Clary architecte toulousain à qui l'on doit entre autres le Donjon du Capitole, actuel office de tourisme de Toulouse, qui en traça les plans. (voir les baux à besognes.)
Son architecture mêle détails d'architecture moyenâgeuse et Renaissance. Pont levis et échauguettes ont disparu, mais on peut encore admirer les animaux emblématiques sur les glacis de pierre. La magnifique cheminée de "l'École de Fontainebleau" recèle un blason qui présente les armoiries des familles de Saint-Lary et Berthier.
Au cours des siècles, le château a appartenu à de nombreuses familles mais l'Histoire a retenu principalement celle du Marquis de Montespan, l'époux de Françoise de Rochechouard-Mortemart, maîtresse de Louis XIV. Le Marquis fera édifier l(Orangerie et les écuries; Le Duc d'Antin, fils de Montespan vend le domaine à l'Archevêque Jacob qui, supervisera au château l'écriture de "l'Histoire du Langudoc" par deux moines bénédictins
Jusqu'à la Révolution, trois générations de Barons Ledesme, vont se succéder et faire de leur propriété une demeure de grand raffinement. On trouvera des robinets en or, des marbres, des vitraux somptueux. Le dernier Baron de la lignée, Jean Charles Ledesme, époux de Françoise de Laroche Courbon, sollicitera son ami le sculpteur François Lucas, auteur du bas-relief des Ponts Jumeaux de Toulouse. On lui doit la statue du Commandeur, la Coquille de marbre de la salle à manger et de nombreux autres ouvrages.
Le château deviendra ensuite la propriété de la famille Carrere, neveux héritiers de Françoise de La Roche Courbon, riches négociants déjà installés dans le village. Les " Dames Carrere", cultivées impliquées dans cette société "post révolutionnaire" laisseront des écrits, entretiendront une bibliothèque et le "Salon des sciences".
Puis les familles de Suares d'Alméda, la Princesse polonaise de Lubomiriski, occuperont le château qui deviendra la propriété de Madame Paul Fournes au début du XX siècle. La demeure sera réquisitionnée durant la seconde guerre par l'École de l'Armée Française et partiellement incendié en 1945 sans connaître de restaurations dans l'immédiat après guerre et sera même l'objet de pillages. C'est son actuel propriétaire Claude Cambou qui a fait restaurer la bâtisse au début des années 1980.
