Jerome Karle effectua le début de sa scolarité à New York. Très tôt il s'intéressa à la physique et à la chimie. En 1933, il entra à l'université, au City College of New York. Puis il étudia un an la biologie à l'Université Harvard où il obtint un master en 1938.
Il travailla ensuite pour le New York State Health Department à Albany où il développa une méthode de mesure du fluor dans l'eau.
En 1940, il intégra le département de chimie de l'université du Michigan. Il obtint son doctorat en 1944.
Jerome Karle participa au projet Manhattan à l'université de Chicago de 1943 à 1944. Puis il retourna à l'université du Michigan où il travailla entre autres sur la structure de monocouches.
En 1946, il partit travailler à Washington, DC pour le Naval Research Laboratory. Ses recherches l'amènent à s'intéresser à l'analyse des structures cristallines avec notamment Herbert Hauptman.