Une grande partie de l'histoire du manoir de Vauville disparaît avec la destruction des Archives départementales durant le bombardement de Saint-Lô, lors de la Seconde Guerre mondiale. Mais quelques éléments nous sont parvenus.
Le fief de Vauville était un plein fief de haubert mouvant de la baronnie de Bricquebec.
Richard de Vauville entreprend en 1163 la construction d'une demeure seigneuriale dont il ne reste aujourd’hui qu'un donjon semblable à celui du château de Beaurepaire à Martinvast. Il fait construire également le prieuré de Saint-Hermel, situé sur une colline au nord-est de Vauville. Ce prieuré dépendait de l'abbaye de Cerisy-la-Forêt. C'est à la même époque que l'on peut situer la reconstruction de l'église de Vauville, située sur le même fief.
Sous le règne de saint Louis, la présence de la demeure est attestée : le bienheureux Thomas Hélye de Biville y mourut en 1257.
Pendant le XIV siècle, la famille de La Haye possédait la seigneurie de Vauville. Les Carbonnel en furent ensuite propriétaires. Elle fut transmise par après aux Le Sauvage. En 1663, Jeanne Le Sauvage, morte en 1703, fille et héritière de Julien Le Sauvage, seigneur de Vauville, épousa François-César de Costentin, frère ainé du maréchal de Tourville : ce fut lui qui rebâtit le logis qu'on peut encore voir aujourd’hui. Une partie de ses tours et de ses défenses existait encore dans les années 1720, mais furent peu à peu démolies.
François-César et Jeanne de Tourville eurent deux fils qui leur survécurent, seigneurs successifs : Jean-Michel de Costentin, dit le « marquis de Tourville », puis Jean-Baptiste César de Costentin, dit le « comte de Vauville ». Ce dernier vint se réfugier à Vauville, après avoir tué dans un accès de jalousie, M. Hellouin, sieur d'Anctevillle, bailli de Saint-Sauveur-Lendelin. Après s’y être caché longtemps, il obtint sa grâce en levant la « fierté de saint Romain », suivant un privilège du chapitre métropolitain de Rouen.
Le général Jean Le Marois (1776-1836), député de la Manche et aide de camp de Napoléon, fut également propriétaire de Vauville.
Sous sa forme actuelle, ce sont les mêmes propriétaires qui, depuis plus de cent ans, entretiennent et restaurent le château qui fut pillé et fortement endommagé lors de la Seconde Guerre mondiale. Les façades et toitures du château, du colombier et de l'ancien fort en bordure de mer avec sa maison de gardien, ont été inscrites le 5 mai 1972 au titre des monuments historiques.
