Le château de L'Isle-Adam se trouvait à L'Isle-Adam (Val-d'Oise) sur l'île du Prieuré. Reconstruit à plusieurs reprises, il a appartenu à d'illustres et puissantes familles : les Adam, les Villiers, les Montmorency, les Condé et enfin les Conti, dont il a constitué, pendant sept générations, le principal domaine en dehors de Paris. Il a été entièrement détruit au début du XIXe siècle.
Pour stopper l'invasion normande, le roi de France fit construire des châteaux-forts, tel celui qui fut construit en 825 sur la plus longue des deux îles de l'Oise à l'emplacement actuel de la ville de L'Isle-Adam, près du village de Nogent et qui est mentionné sur un acte de 1069 comme situé à proximité d'un prieuré.
Ce château fut confié au Seigneur Adam. La châtellenie prit petit à petit le nom de L'Isle-Adam et l'île elle-même prit ce nom. Par extension, la ville qui s'est développée entre l'île et Nogent conserva le nom de L'Isle-Adam. Au Moyen Âge, la seigneurie comprend les domaines de L'Isle-Adam, de Parmain et de Valmondois. Le château est reconstruit à plusieurs reprises.
Il appartient d'abord aux Adam de L'Isle, qui le vendent en 1360 à Pierre Villiers, grand maître de l'hôtel du Roi. Celui-ci est le bisaïeul de Philippe Villiers de L'Isle-Adam (1464-1534), grand maître de l'Ordre de Malte en 1521. Antoine Villiers de L'Isle-Adam, héritier du domaine, épouse en premières noces Marguerite de Montmorency.
Par ce mariage, L'Isle-Adam va entrer dans la puissante famille des Montmorency. En septembre 1527, le fils d'Antoine Villiers de L'Isle-Adam, Charles, qui a racheté les droits de ses frères et sœurs pour éviter tout morcellement du domaine, donne celui-ci, avec réserve d'usufruit, au connétable Anne de Montmorency (1492-1567). Celui-ci fait reconstruire le château et le moulin banal situé sur le pont.
En révolte contre l'autorité royale, Henri II de Montmorency est exécuté à Toulouse en 1632. Ses biens sont confisqués par Louis XIII qui en restitue la majeure partie à ses sœurs. Charlotte de Montmorency, femme d'Henri II de Bourbon-Condé, reçoit le domaine de L'Isle-Adam qui passe ainsi à la maison de Condé, branche cadette de la maison de Bourbon.
À la mort d'Henri II de Bourbon-Condé en 1651, ses biens sont partagés entre ses trois enfants : Louis II de Bourbon-Condé, Armand de Bourbon-Conti et Anne Geneviève de Bourbon-Condé, duchesse de Longueville. C'est Armand de Bourbon-Conti, premier prince de Conti, qui reçoit le domaine de L'Isle-Adam, qui va demeurer jusqu'à la Révolution française dans cette branche de la maison de Bourbon.
Armand de Bourbon-Conti, nommé gouverneur du Languedoc en 1660, séjourne peu à L'Isle-Adam. Après sa mort, survenue en 1666, sa veuve, la princesse Anne Marie Martinozzi, y passe davantage de temps. Dans la nuit du 30 juin au 1er juillet 1669, le château est gravement endommagé par un incendie. Les travaux de restauration commencent rapidement et sont achevés en 1671.
Son deuxième fils, François Louis de Bourbon-Conti, dit « le Grand Conti », s'intéresse en revanche de près à L'Isle-Adam. En 1707, par échange avec Jean-François de Chamillart, évêque de Senlis et prieur de Saint-Godegrand, il parvient à acquérir la totalité de l'île du Prieuré. Il fait restaurer le château à la même époque, faisant ragréer les façades et remplacer la vieille tour de l'ancien manoir féodal par un pavillon qui sert de conciergerie. En 1746, Louis François de Bourbon-Conti agrandit le domaine en achetant au marquis de Verderonne le château de Stors.
Confisqués comme biens nationaux sous la Révolution, le château et ses dépendances sont adjugés en 1798 à un Sr Heyer, dont les héritiers les cèdent à un nommé Brousse. Ce dernier fait procéder à la démolition de l'ensemble. Celle-ci est achevée en 1813. Il ne reste plus rien du domaine des Conti.
Le 12 mai 1821, Mme Papon, veuve de M. Christophe Ducamp, achète les terrains de Parmain ainsi que toute l'île du Prieuré et de nombreux terrains dans l'Isle-Adam. Elle fait d'abord construire une belle demeure à Parmain (1828), mais cette propriété est abîmée en 1846 par l'arrivée du chemin de fer. Mme Papon entreprend donc, en 1857, la construction dans l'île du Prieuré d'un petit château en brique et pierre de style Louis XIII, à l'emplacement de l'ancien château des Conti.
Ce château passe ensuite à M. Amédée Pain, puis à son fils, Henri Pain, diplomate et compositeur. La propriété est incendiée par les Prussiens durant la guerre de 1870. L'un des deux pavillons de la conciergerie de l'ancien château des Conti disparaît à cette occasion. Le château est reconstruit et sert d'hôtel, de maison de repos, de restaurant avant d'être laissé à l'abandon. Il est acheté en 1985 par un groupement de sociétés d’exploitation de produits pétroliers qui y installe ses bureaux puis, en 2005, par la municipalité de L'Isle-Adam.