Dans un lieu très anciennement occupé par l'homme, le fief de Bandeville est créé après les incursions normandes. En 1236, Simon de Bandeville tient dans son fief une simple maison forte, avec colombier et jardin.
En 1530, Thomas Rappouël, notaire et secrétaire du roi et de sa chambre, surintendant des finances, acquiert Bandeville, puis d'autres fiefs au cours des années suivantes. Il fait agrandir le château et crée un parc. Sa fille, Charlotte Rappouël (†1573), dame de Bandeville, apporte le fief à la famille du Drac par son mariage en 1536 avec Adrien du Drac (1509-1573), vicomte d'Aÿ. Celui-ci, sans postérité, transmet le fief à son neveu, Jean du Drac, maître des requêtes et conseiller au Parlement de Paris.
Thierry Sevin (†1627), conseiller à la Cour des aides puis président de la Seconde Chambre des Enquêtes du Parlement de Paris (1612), épouse le 20 juin 1610 Louise du Drac, fille de Jean du Drac, et devient ainsi le maître de Bandeville. Il parachève la constitution du domaine en achetant en 1618 le fief de La Tour Saint-Cyr. En 1622, il fait construire le nouveau château dans le style Louis XIII.
En 1682, Bandeville est érigé en marquisat au profit de François Bazin, maître des requêtes, qui fait transformer le château. Pendant tout le XVIII siècle, le château reste détenu par de grandes familles de parlementaires parisiens.
En 1806, le domaine est acquis par le comte James-Alexandre de Pourtalès (1776-1855). Il est depuis lors demeuré dans la famille de Pourtalès, devenue également propriétaire du château du Marais voisin par le mariage du comte James de Pourtalès (1911-1996) avec Violette de Talleyrand-Périgord (1915-2003).
