De l’ancien donjon médiéval des seigneurs d'Osny, il ne subsiste qu'une tour du XI siècle aménagée depuis en colombier. À partir du XVI siècle et surtout du XVII siècle, le domaine est considérablement agrandi et embelli pour la famille de Nicolaï.
Le bâtiment actuel a été édifié à la place d’un ancien donjon, soit en 1785 soit, plus probablement, au début du XIX siècle par Charles-Malo-François comte de Lameth. Les arcs des portes-fenêtres du rez-de-chaussée « à la florentine » signalent en tout état de cause un travail du XIX siècle.
En 1881, l’académicien Edmond About s’installe à Grouchy avec sa femme et ses huit enfants. Il fait remonter dans le parc une grande serre provenant de l’Exposition universelle de 1881 et reçoit beaucoup : en moyenne vingt personnes à chaque repas, selon Edmond de Goncourt.
En 1898, le château est acquis par l’industriel Lazare Weiller, qui y entreprend d’importantes transformations. En 1901, ayant fait de mauvaises affaires, il doit céder le château à Frédéric de Reiset, qui poursuit ces travaux, assisté de l’architecte Paul Morel : réfection à l’identique de l’aile droite, création du vestibule de style Louis XVI, du grand salon et, probablement, du grand escalier, orné de statues de Henri-Léon Gréber représentant les quatre saisons.
Le château est situé dans la vallée de la Viosne, au cœur d’un très beau parc, qui représente aujourd’hui encore 42 hectares, avec une partie à l’anglaise devant le château, comportant une large pelouse et une pièce d’eau, et une seconde partie moins structurée. De l’époque antérieure à la reconstruction du château subsiste une fabrique, temple de l’Amour circulaire à huit colonnes, à entablement dépourvu de coupole, qui présente en son centre, un moulage de statue de nymphe sortant du bain, dont l’original est au Louvre. On aperçoit dans le parc les ruines d’une seconde fabrique similaire ainsi qu’une glacière à coupole hémisphérique appareillée de 8 m de profondeur.
