Johann Georg Gmelin est le fils d'un apothicaire, il est né dans le sud ouest de l'Allemagne. Après avoir reçu un enseignement à domicile, il entre à l'âge de 13 ans à l'Université Eberhard Karl de Tübingen. Diplômé de l'université de Tübingen à 17 ans, il est recommandé auprès de Pierre le Grand qui vient de créer l'Académie des sciences de Saint-Pétersbourg. En 1731, il y obtient la chaire de chimie et d'histoire naturelle.
Il participe à une expédition scientifique en Sibérie en juillet 1733 qui l'amènera au Kamtchatka. Il ne reviendra à Saint-Pétersbourg qu'en février 1743. Il croise durant son périple Georg Wilhelm Steller qui participe à une autre expédition d'exploration, dirigée par Vitus Béring.
En 1747, il revient à Tübingen et, deux ans plus tard, obtient les chaires de botanique et de chimie.
Il publie notamment un ouvrages sur la flore de Sibérie (Flora Sibirica, 4 volumes, 1747-1749).
Il est l'oncle de Johann Friedrich Gmelin (1748-1804), chimiste et naturaliste allemand.