En 1056, le domaine de Villebon est détaché de Palaiseau et revient à Fromond de Paris, premier seigneur du lieu. Son fils, Aszo de Villabona fait construire une ferme fortifiée dotée de souterrain pour se cacher en cas d'attaque. Sans grande modification, le château et le domaine sont transmis à Gautier de Villebon, Grand chambellan de France puis à son fils Pierre de Villebon dit Pierre de Nemours, évêque de Paris de 1208 à 1219.
En 1474, le domaine et ce qui n'est encore qu'une grande demeure est cédée à la famille De Thou, en l'occurrence, Jacques de Thou, avocat et conseiller au Parlement de Paris. En 1512, Augustin de Thou, qui n'aime pas cette demeure démodée, peu confortable et humide, y fait construire à la place un petit château, trois pavillons avec une belle galerie de style renaissance dont subsiste aujourd'hui le pavillon Henri IV. En 1587, Nicolas de Thou, évêque de Chartres fait bâtir près du portail une chapelle dédiée à Saints Côme et Damien.
En 1611, un incendie ravage le corps central du château. Jacques-Auguste de Thou confie alors à Louis Métezeau, architecte d'Henri IV sa reconstruction qui ne pourra aboutir. Le domaine est donc revendu en l'état à André Potier de Novion qui termine la rénovation, en mariant les deux ailes renaissance à un nouveau bâtiment. Son fils, Nicolas Potier de Novion l'agrandira de deux ailes. Il agrandira aussi la chapelle et la dotera d'un autel, puisqu'elle est le nouveau siège de la paroisse. En 1649, le château est pillé durant la Fronde. En 1656, le propriétaire rénovera profondément les deux ailes extérieures.
En 1696, le domaine est vendu à Hubert de Champy, Intendant de la marine à Brest. En 1704, il est propriété de Guillaume Delors de Serignan, puis légué à la marquise de Perthuis, puis à la marquise de Pracontal. Le château ne sera pas touché par les troubles de la Révolution si ce n'est une perquisition des commissaires de Versailles.
En 1806, la propriété revient au comte Alfred-Félix de Montesquiou-Fezensac qui construit l'orangerie et le presbytère. Il revend rapidement en 1832 le domaine au baron Laurent-Antoine-Isidore de Nivière qui construira le pigeonnier. Ses descendants ne feront pas de modifications au château et Léon-Henri de Nivière le vendra avec le domaine de cent hectares en 1920 à la société immobilière de Villebon pour un million de francs.
Cette société est en fait l'École de l'Île-de-France précédemment installée à Liancourt. Cette école, internat pour garçons, est organisée en quatre groupes de trente élèves pour chacun des quatre pavillons. Mais en 1933, un incendie touche le pavillon Sully et les salles de classes, l'école doit cesser ses activités. En 1937, la propriété est revendue à la Congrégation de saint-Vincent-de-Paul qui en fera une maison de retraite pour les frères lazaristes jusqu'en 1994, où le château deviendra un centre de retraite spirituelle.
Aujourd'hui, le site accueille aussi un collège et lycée privé catholique en internat et externat.
