À Brest, où il vécut après sa nomination, à près de 60 ans, au poste de directeur des Fortifications de Bretagne, poste qu'il occupa pendant 24 ans, Frézier dessina des projets d'aménagement urbain (voirie, fontaines, places, rues), et surtout travailla au remaniement de l'église Saint-Louis. Garangeau en avait dessiné les plans en 1688, mais les travaux furent bloqués par une procédure des jésuites qui se considéraient propriétaires de l'église. Quand les travaux purent reprendre, en 1742, les plans de Garangeau furent appliqués, mais Frézier put réaliser le baldaquin du maître-autel selon ses propres goûts. Il le plaça, selon son désir, au milieu du chœur, et utilisa pour le supporter quatre superbes colonnes monolithes de marbre cipolin à veines concentriques, dessinant comme un oignon tranché, qui provenaient des ruines de Leptis Magna. Louis XIV en avait reçu un lot de Libye en 1689, au temps de sa splendeur, mais quatre d'entre elles furent « oubliées », ne furent pas utilisées à Versailles, et Frézier les obtint. Terminé en 1758, le baldaquin de l'église Saint-Louis, œuvre d'architecture religieuse de la maturité de Frézier — il avait 76 ans en 1758 — fut fort loué par les contemporains à la fois pour son appareil et pour son esthétique. Les bombardements de la dernière guerre le détruisirent, comme l'église Saint-Louis.
À Santiago du Chili, une grande plaque de bronze scellée dans le sol devant l'hôtel de ville, de quatre mètres de côté, atteste et remercie Amedeo Frezier d'avoir dressé en 1712 le plan de la capitale, qu'elle reproduit en bas-relief. Le plan est strictement géométrique : un échiquier délimité par l'entrecroisement de quinze rues en largeur et de dix rues en hauteur, avec la Plaza de Armas (la Grand'Place) légèrement décalée par rapport au centre. Le coin inférieur est traversé par le Rio Mapocho, sur lequel Frézier n'a d'ailleurs prévu aucun pont.
Frézier ne se privait pas de combattre ses adversaires sur leur propre terrain : ses études de théologie le lui permettaient. De plus il maniait habilement la dérision, et finalement pulvérisait ses adversaires par un argument décisif : eux ne sont que des théoriciens, des architectes en chambre, alors que lui a effectivement manié les matériaux, lui a vraiment construit…
Frézier était-il anticlérical ? Il se trouve simplement que ses adversaires sont des clercs (mais à l'époque les hommes instruits étaient le plus souvent des religieux), qui osent parler d'architecture. Mais Frézier ne supporte manifestement pas que des « moines » (qui ont sans doute embrassé les ordres par opportunisme et sont intellectuellement plus attirés par des disciplines séculières que par la religion) viennent empiéter sur son domaine, et en n'ayant de plus que des connaissances théoriques sur le sujet. Autre avantage de Frézier sur ses adversaires sédentaires : lui avait vu à Cuzco et à Lima à quels excès peut aboutir l'art religieux, et pour lui « tout y est si confus, chargé et si mauvais qu'on ne peut s'empêcher de regretter les sommes immenses qu'ils [les architectes espagnols] dépensent dans ces galimatias dorés ».
Frézier milita pour la simplicité en architecture, et défendit de plus la beauté et la solidité du style gothique, qui, pour ses contemporains, datait des âges barbares : on doit, dit-il, convenir que le gothique a « de la hardiesse, de belles proportions, de la délicatesse et une exécution admirable… Quant à la solidité, elle est bien prouvée par le grand nombre de monuments qui nous en restent depuis plusieurs siècles… »
Même terrain d'étude (l'Amérique latine), excellences identiques en géographie et mathématiques, supériorité du franciscain Feuillée dans le domaine de la botanique, mais avantage à l'officier Frézier en architecture et poliorcétique : le choc entre ces deux caractères bien trempés était inévitable. De plus, le père Louis Éconches Feuillée avait eu, en sa qualité de prêtre, la possibilité de mieux pénétrer que l'officier, qui voyageait incognito, les domaines (mines, haciendas, reducciones) dépendant de la classe possédante chrétienne. Les observations acides de Frézier sur l'obscurantisme du clergé chilien, et sur l'inanité de la Fête des Fous de Pisco (port péruvien, département d'Ica, exportant l'eau de vie pisco produite alentour) autorisée par l'Église locale échauffèrent la cuculle au cordelier : lors de la réédition de sa relation de voyage, en 1725, le religieux y ajouta une préface virulente, dans laquelle il n'hésitait pas à traiter son concurrent de « pilote sans étude ». C'en était trop pour Frézier, qui répliqua vertement en publiant, en 1727, une brochure intitulée « Réponse à la préface critique du livre intitulé “Journal des observations Physiques, Mathématiques et Botaniques” du R.P. Feuillée… », qu'il conclut malicieusement par une citation tirée de l'Ecclésiaste c. 5 : « Lingua imprudentis subvertio est ipsius » (« Sa propre langue est la perte de l'imprudent »). Et pour montrer qu'en Amérique latine il ne s'était pas consacré qu'à l'herborisation, Frézier ajouta en appendice une nomenclature des vice-rois du Pérou, de l'origine à 1712.