Marc-Antoine Thierry, premier valet de chambre du roi Louis XVI, fait raser le vieux manoir seigneurial de La Brosse pour se faire construire une vaste demeure en 1776 par l'architecte Joseph-Elie-Michel Le Fèvre. Louis XVI lui cède la seigneurie de ville-d'Avray en 1783. Thierry périt le 2 septembre 1792 victime des massacres de la Révolution. Sa femme et ses enfants se défont du château en 1796.
En 1854, il est acquis par Paul Cocteau, notaire à Paris et maire de Melun, qui vend une partie du terrain au flanc de la colline, au baron Yvelin de Béville. Loué par appartements, le château eu plusieurs locataires dont Jean-Baptiste Fréville Le Vingt, maire de Sèvres et vice-président du conseil général de Seine-et-Oise. En 1871, le château devient la propriété de Madame Paul Lelong, veuve de l'architecte de la Banque de France. À sa mort en 1895, le domaine revient au comte de Lariboisière qui le vend à Félix Larouche, ingénieur du canal de Suez.
Le château est converti en hôpital militaire pendant la première guerre mondiale et occupé par les troupes allemandes pendant la seconde.
En 1969, la commune acquiert le château, menacé de démolition, et ce qui reste de son parc. Le château est ouvert aux activités culturelles et officielles, expositions, réunions du conseil municipal, concerts, classes de musique, etc.
Le château fait l'objet d'une inscription au titre des monuments historiques depuis le 30 juillet 1973
