Manoir médiéval appartenant au domaine royal, il est vendu par François I. Jean II de Ravalet, seigneur de Tourlaville, l'acquiert et fait construire sur le manoir dont seules les ruines de l'ancien donjon demeure, un château Renaissance, qu'il offre à son neveu, Jean III. Il abrite alors les amours incestueuses de Julien et Marguerite de Ravalet, enfants de Jean III, qui leur valurent d'être décapités en place de Grève, à Paris, le 2 décembre 1603.
Suite à de graves problèmes financiers, les Ravalet vendent le domaine à Charles de Franquetot en 1653 qui améliore l'aménagement intérieur avant de mourir assassiné sous les coups de son valet de chambre. Il passe ensuite de propriétaires en propriétaires, dont les Boudet de Crosville et les Fouquet de Réville, devenant une ferme en 1661. Hervé Clérel de Tocqueville, père d'Alexis de Tocqueville, en prend possession en 1777. Son petit-fils, René de Tocqueville, châtelain et maire de la commune, rénove alors le bâtiment, aménage le parc et les jardins (dont une grotte), et fait construire une grande serre. Mais il est contraint de le revendre en 1906.
Utilisé comme hôpital durant la Première Guerre mondiale, le château est inscrit à l'inventaire des monuments historiques en 1930. La ville de Cherbourg se porte acquéreur du domaine en 1935. Il est occupé par l'armée allemande durant la Seconde Guerre mondiale et les troupes américaines à la Libération.
Le château (ouvert à certaines périodes seulement, notamment lors des Journées du patrimoine), le parc (ouvert au public) et la serre (1873-1875) sont classés Monuments Historiques depuis 1996.
