L’histoire du château commencerait à Tôtes, ville d’arrêt des Anglais débarqués de Dieppe et se rendant à Paris (c’est là-bas que se trouve l’Auberge du cygne). Un riche homme d’affaire anglais tombe malade à l’auberge « L’Écu d’Orléans ». Un valet d’écurie nommé Jean Fiquet le soigne avec un tel dévouement que l’Anglais lui lègue tous ses bagages et leur contenu s’il il vient à mourir. L’homme meurt au bout de quelques jours, et le valet hérite de ses effets. Les valises, remplies de bank-notes et de valeurs, font sa fortune.
À cette même époque, Charles-François de Pestel, dernier descendant direct des De Normanville est le seigneur du domaine de Normanville. L’homme, comme tous les seigneurs de cette époque, croule sous les charges imposées par Louis XIV et doit se résoudre à vendre la terre de ses ancêtres. Jean Fiquet, qui veut profiter de sa nouvelle situation en fait l’acquisition en 1735. La terre seigneuriale ennoblissant qui la possède, Jean Fiquet devient alors Seigneur et Marquis de Normanville.
Au moment du rachat des terres, l’ancien château, ou manoir de Normanville, tombe en ruines. Jean Fiquet décide de le raser et d’en faire construire un nouveau. La construction débute en 1737 et est complétée par deux annexes en 1742. Jean Fiquet meurt à Rouen le 11 juin 1775 en son hôtel de la place Saint-Ouen à l’âge de 82 ans. Son corps est rapatrié à Normanville et inhumé dans la crypte de la chapelle qu’il a fait bâtir. Sa femme, Marie-Thérèse-Marquet meurt le 15 décembre de la même année et son corps est déposé près de celui de son mari.