Frézier est nommé directeur des fortifications de Bretagne en 1739 avec poste à Brest, où, sous sa direction, furent exécutés d'importants travaux, de même qu'à Saint-Domingue (actuellement en Haïti), Nantes, Port-Louis, Concarneau, Morlaix, Saint-Malo, Brest et même jusqu'à Landau et Philippsbourg. Suite à la fusion des départements de la Guerre et de la Marine de 1743 à 1746, il a sous ses ordres Antoine Choquet de Lindu, directeur des travaux du port de Brest.
On lui doit en particulier l'achèvement du château du Taureau, dans la baie de Morlaix (1741-1745).
Un écossais du clan Frazer (clan apparenté à celui des Lords Lovat) prénommé Edward fut obligé (cf note 2), car il était catholique, de quitter Edimbourg, et se fixa à Amsterdam en 1500. Son fils Charles-Simon se fit mercenaire, fut engagé à Wittemberg (Saxe) comme lansquenet, dut s'enfuir à la suite d'une "affaire d'honneur", et aboutit en Chablais (rive Sud du lac Léman). A Thonon, il épousa la fille d'un notable local, Madeleine Gui-Chatelain, dont il eut un fils, Aymonet. Aymonet fut lieutenant au château des Allinges (où résida une soixantaine d'années plus tard saint François-de-Sales), bourgeois de Thonon, et eut une douzaine d'enfants. Telle fut l'origine de la vaste famille Frézier, qui essaima à Anthy, Thonon, Gex et Bons-en-Chablais. Un des rejetons, Louis, fut châtelain dans le Chablais et notaire à Vailly (Haute-Savoie). Son fils Pierre-Louis devint jurisconsulte à Chambéry, avocat du sénat de Savoie, et conseiller de la famille ducale. Il eut un fils, Amédée-François Frézier, qui fut donc l'un des plus remarquables des hommes de science savoyards du XVIIIe siècle.
Frézier épousa en 1728, alors qu'il était en poste à Landau, une demoiselle Anne-Agathe Crubier (ou Crublier), et en eut un fils et deux filles. C'est de cette époque que date le portrait qui se trouve à la mairie de Vailly. Il a été peint alors que Frézier avait 46 ans, âge plus que mature au XVIIIe siècle, et cependant il arbore des traits virils, correspondant à ceux d'un homme beaucoup plus jeune : apparemment son voyage aux antipodes et son séjour de sept ans à Hispaniola ne l'ont pas trop marqué…
Ses filles épousèrent toutes deux des marins : M. Coatudavel - et M. Grenier.
Le fils d'Amédée-François, lieutenant de vaisseau, fit naufrage et périt en mer en décembre 1768. Son petit-fils, prénommé Claude, mourut lui aussi lors d'un naufrage en 1783. Il avait commencé à suivre les traces de son grand-père, en rédigeant une "Nouvelle théorie du mouvement des planètes...".