Depuis le XI siècle, ce haut lieu d’histoire a toujours eu une vocation défensive, comme en témoignent sa motte castrale, ses deux porches d’accès, son étang défensif, ses douves, ses bouches à feu et ses murs d’enceinte.
La propriété architecturée en U s’articule de la manière suivante : accès par voie romaine, cour d’honneur délimitée par deux pavillons Louis XIII ainsi que des communs (écuries, charretterie, pressoir, boulangerie).
Le château de 1646, fondé sur des vestiges médiévaux a été profondément remanié, voire reconstruit en 1850. Son style caractéristique de la période Restauration, cache derrière ses sobres façades une distribution, assez rare, sur le modèle romain de l’atrium, ce qui lui confère originalité et élégance.
En outre, le château s’est vu agrémenté d’éléments caractéristiques du XIX siècle :
- une promenade romantique arborée d’essences multiples
- un parc aux arbres multiséculaires
- une orangerie
- deux serres
- un jardin potager à la française
- deux vergers
- une maison de jardinier
- une chapelle.
La chapelle fut bénite par Flavien Hugonin, évêque de Bayeux, en 1876, celui-là même qui accepta l’entrée anticipée au Carmel de Thérèse de Lisieux, futur Docteur de l’Église et grande Sainte de la Chrétienté. La pieuse famille Tellier Vauville fit bâtir un presbytère vers 1870 et l'offrit au clergé afin d'assurer des offices dans le village retiré de La Pommeraye.
Depuis 1850, différentes familles se sont succédé au château de La Pommeraye : Le Tellier de Vauville, Pollet, Michelon, Rollot, Boudnikoff. Des recherches sont en cours pour retrouver les familles antérieures à la famille Le Tellier de Vauville.