Jean-Charles Garnier d'Isle fut contrôleur général des Bâtiments, jardins et manufactures et dessinateur des Jardins du Roi. Il entra en 1724 à l'Académie royale d'architecture et devint associé libre de l'Académie royale de peinture et de sculpture en 1748. Il termina sa carrière comme contrôleur des Bâtiments du Roi à Paris, fonctions dans lesquelles Jacques-Germain Soufflot prit sa suite.
Il fut l'un des créateurs de jardins les plus réputés sous le règne de Louis XV. Selon Blondel : « Mr Garnier Dille, gendre de M. Desgots, Architecte et Contrôleur des Bâtiments du Roi, se distingue aujourd'hui dans cette partie de l'Architecture ; Mr Contant, Architecte du Roi, l'entend aussi très bien. »
Si la carrière de Garnier d'Isle est encore assez mal établie, on sait qu'il travailla beaucoup pour Madame de Pompadour, à l'Ermitage Pompadour de Fontainebleau, à Crécy-Couvé, au château de Bellevue qui fut considéré comme son chef-d'œuvre.
Il travaille également dans les jardins du château de Champs-sur-Marne à l'époque du duc de La Vallière, peut-être toujours pour Madame de Pompadour, locataire du château entre juillet 1757 et janvier 1759.
Il avait épousé la fille du paysagiste Claude Desgots (1655-1732), lui-même petit-neveu d'André Le Nôtre. Son fils, Charles-Hippolyte, fut également contrôleur des Bâtiments du roi. Leur descendance se perpétua dans la famille de Joybert.