Louis-Victor Gesta mourut le 6 septembre 1894, après avoir fait faillite, et ses héritiers ne parvinrent pas à s'entendre. Le château avait été vendu, et tous les biens mobiliers furent cédés. En 1895, le maire de Toulouse, Honoré Serres, fit procéder à l'alignement de la rue du faubourg Arnaud Bernard (qui devait plus tard porter son nom), condamnant le pavillon d'entrée des Verrières.
Propriété du négociant Bernard Bordes
Le château fut d'abord la propriété de Bernard Bordes, un négociant toulousain, puis de sa veuve qui le fit visiter notamment à la Société des Toulousains de Toulouse. L'oeuvre de Bénézet, "véritable Salle des Illustres" eut un grand succès .
Propriété des Sœurs de la Charité de Saint Vincent-de-Paul
A partir de 1937, le château devint propriété des soeurs de la Charité de saint Vincent-de-Paul. Au début de la guerre, elles y hébergèrent des familles réfugiées du nord de la France. Par mesure de sécurité, des vitraux furent déposés(ils devaient l'être définitivement), tandis que des tranchées étaient creusées dans le parc, pour abriter les riverains dans le cadre de la défense passive. Un centre d'apprentissage de la couture fut créé pour les jeunes filles sans emploi. Pour des besoins d'éclairage, les peintures furent revêtues d'un badigeon.
Lycée Professionnel
Les soeurs vendirent le château à l'État en 1956. Il devint le Lycée d'Enseignement Professionnel Hélène Boucher. A cette occasion, on lui adjoignit des escaliers extérieurs et rampes de fer.
Propriété de la Ville de Toulouse
Le 7 mai 1987, le château fut racheté par la Mairie de Toulouse qui y installa la classe d'orgue du Conservatoire supérieur national de musique, sous la direction de Xavier Darasse. Une partie du rez-de-chaussée était octroyée à l'association des Arts Renaissants. Une école privée, l'European University, s'installa au premier étage. Le 26 juin 1989, la Maison du Verrier fut inscrite à l'inventaire supplémentaire des monuments historiques, avant d'être classé en totalité Monument historique par l'État, le 3 octobre 1991. A la mort de Xavier Darasse en 1992, la classe d'orgue quitta le château. L'école European University chercha en vain à le racheter. Restés inoccupés, les locaux furent victimes d'un incendie, dans la Salle des Illustres de Bénézet. La Mairie de Toulouse autorisa alors la police nationale à occuper le château, qui devint lieu d'accueil pour les appelés du contingent effectuant leur service national dans la police.
Propriété de la SMESO
La SMESO, mutuelle étudiante, racheta ce château que la Ville trouvait "peu fonctionnel". Elle fit procéder à une surélévation des locaux sur le boulevard, pour installer ses bureaux.
Un nouveau propriétaire
En 2001, la SMESO vend les locaux à un promoteur qui souhaite le revendre. Une petite partie du parc est rachetée par la Mairie de Toulouse pour en faire un petit jardin public.
Bien que classé monument historique depuis 1991, le Castel Gesta est actuellement dans un état de délabrement alarmant.
Les Verrières au cœur d'une escroquerie sur le patrimoine historique
Depuis quelques mois, le château était barricadé derrière des palissades et les riverains s'interrogeaient en vain sur son devenir.
Le Monde du 15 octobre 2009 nous apprend que la Maison des Verrières est depuis 2004 l'objet d'une vaste escroquerie au patrimoine historique et que le tribunal de grande instance de Livourne a ouvert une instruction depuis le 5 octobre.
Un architecte bordelais proposait ce monument, comme de nombreux autres châteaux et demeures historiques, à des investisseurs. L'investissement était constitué d'une somme relativement faible pour le foncier (en mauvais état) et de sommes plus conséquentes pour financer les travaux de réhabilitation (très importants) auquel devait procéder le cabinet d'architecte. Le monument devait en effet être transformé en logements de standing, et le placement bénéficiait de la déduction fiscale au titre de la législation sur les monuments historiques.
Or les travaux n'ont jamais eu lieu, faute notamment d'autorisation, et l'argent a disparu. Sont donc lésés non seulement les investisseurs privés, mais aussi l'État. Et le château des Verrières, aux dires d'Olivier Poisson, inspecteur général des Monuments historiques "a subi des dommages irréparables".
