Le château de Pont-de-Briques a été construit vers 1640 pour Louise d' Audegau puis a été modifié pour Antoine d'Aumont et Bernard d'Audegau. Louis Patras de Campaigno a fait reconstruire la chapelle puis a fait faire de gros travaux par l'architecte Giraud Sannier vers 1786: surélever le logis et agrandir les ailes.
Ce fut la résidence de Napoléon Ier en 1803 et 1804 pendant le camp de Boulogne. La correspondance complète de Napoléon I au château de Pont-de-Briques, mais aussi les ordres et actes divers dictés par lui lors de ses séjours au château, ont fait l'objet d'un important travail de recherche réalisé par Fernand Beaucour, préfacé par Jean Tulard, membre de l'institut, et publié par le Centre d'Études Napoléoniennes.
Le château de Pont-de-Briques a été transformé en orphelinat vers 1900, et le bâtiment construit à cette époque a été détruit en en 1974.
L'histoire contemporaine du château de Pont-de-Briques a été chaotique : les besoins d'expansion des activités économiques et industrielles de la ville de Boulogne-sur-Mer avaient conduit à décider, par arrêté préfectoral du 9 février 1966, la destruction de ce château au profit d'un nouvel axe routier.
À l'initiative de Fernand Beaucour, une société de sauvegarde de ce château est créé le 17 juin 1966, qui conduit à reconsidérer et finalement annuler la décision préfectorale de destruction de ce site historique majeur. Quelque temps après, une déviation est décidée par arrêté ministériel du 24 février 1969. Les démarches de l'association permettent d'obtenir le classement du château comme monument historique par arrêté ministériel du 1 octobre 1974 . Ainsi sa préservation est acquise.
Le château de Pont-de-Briques a été acheté et restauré en 2000 par une société immobilière qui l'a transformé en appartements. Les pièces occupées par Napoléon sont louées par la Communauté d'agglomération du Boulonnais et vont offrir prochainement un espace muséographie consacré à l'histoire du Camp de Boulogne ainsi que la vie de Napoléon dans son intimité.