Henriette Adélaïde de Tourzel, duchesse de Charost, veuve et héritière du maire de Paris, Armand Joseph de Béthune, duc de Chârost, fait construire le château en 1815.
Elle est la fille de Louise Elisabeth Félicité Armande Anne Marie Jeanne Joséphine de Croÿ-Havré, gouvernante des enfants royaux, et de Louis François du Bouchet de Sourches, marquis de Tourzel, grand prévôt de France.
La construction est pratiquement terminée en 1823.
Ayant échappé à l'échafaud, la mère d'Henriette, de retour de Londres, vient s'installer à Groussay où elle reçoit la fille de Louis XVI, la duchesse d'Angoulème. Quelques mois plus tard, en 1832, elle meurt au château à l'âge de 82 ans.
Madame de Chârost meurt en 1840 et est inhumée au cimetière de Montfort-l'Amaury.
Elle avait fait construire l'orangerie qui abrita les collections d'arbustes méditerranéens.
En 1843 la comtesse Julie de Pahlen acquiert le domaine après la mort de son mari, Pierre Antonin Perry, survenue la même année. Elle y reçoit l'empereur et l'impératrice.
En 1873, elle vend à Henriette Dufour d'Hargeville, épouse du prince Soltikoff.
En 1938 Charles de Beistegui (1895-1970), de nationalité mexicain et espagnole et esthète inspiré, rachète Groussay; il est le neveu du grand collectionneur mexicain et généreux mécène des musées et institutions culturelles françaises Carlos de Beistegui.
À la mort de Charles, en 1970, son neveu Juan de Beistegui, dit Johnny, en hérite et s'efforce de le préserver pendant 30 ans mais en 1999, l'édifice et tout son contenu sont finalement vendus en 2000 lots décrits dans un catalogue de 4 volumes lors des premières enchères publiques organisées par Sotheby's en France, lors d'une house sale de quatre jours, véritable évènement dans le marché de l'Art.
Le propriétaire actuel, Jean-Louis Remilleux, y a installé sa collection de meubles, peintures et objets d'art, racheté des éléments et documents relatifs au domaine (photos de Beaton et aquarelles de Serebriakoff), et ouvert le château au public en 2000, visitable sur réservation.
En 1969, peu de temps avant la mort de Charles de Beistegui, un premier tournage eut lieu au château : Le Bal du comte d'Orgel de Marc Allégret d'après le roman de Raymond Radiguet. Jean-Claude Brialy en parle dans la série documentaire Le Bal du siècle réalisée en 2006 par Xavier Lefèbvre et produite par Jean-Louis Remilleux, actuel propriétaire du château.
Comme dans beaucoup de châteaux, de nombreuses scènes de films, téléfilms et documentaires ont été tournées à Groussay, entre autres : Valmont de Milos Forman en 1988 ; deux documentaires de Patrick Mimouni : Don Carlos de Beistegui en 1989 et À Groussay, en 1998 ; Les Parisiens de Claude Lelouch en 2004 ; L’Homme au ventre de plomb (série Les Aventures de Nicolas Le Floch) d’Edwin Baily en 2008 ; La Maison du chat-qui-pelote d’après Balzac (série Au siècle de Maupassant. Contes et nouvelles du XIXe siècle) de Jean-Daniel Verhaeghe en 2008…
Groussay est par ailleurs décrit dans le Guide des lieux cultes du cinéma en France.
En fait, depuis sa vente en 1999 au producteur de télévision Jean-Louis Remilleux, le château a été transformé en une sorte de studio de télévision (la bibliothèque et le théâtre en avaient déjà les dimensions, avec de grandes hauteurs, et des facilités d'éclairage et de déplacement de matériel) où se sont enregistré un certain nombre d'émissions télévisuelles, dont celle, hebdomadaire, de Frédéric Mitterrand, Plaisir de France (2001-2004).