Il naît à Minsk en 1914 et sa famille déménage, quatre mois après sa naissance, à Saint-Pétersbourg, où elle reste jusqu'en 1941. A la suite de l'invasion allemande, l'institut où travaille Zeldovitch est évacué à Kazan. Zeldovitch quitte ensuite Kazan pour Moscou, pendant l'été 1943.
En mai 1931, âgé de 17 ans, Zeldovitch devient garçon de laboratoire à l'institut de chimie physique de l'Académie des sciences de Russie. (Il restera associé à cet institut jusqu'à la fin de sa vie.) Autodidacte, il est admis en 1936 à défendre sa thèse doctorale qui porte sur l'adsorption et la catalyse sur des surfaces hétérogènes. Dans cette thèse, Zeldovitch fournit la fondation théorique expliquant l'isotherme d'adsorption classique (ou de Freundlich). En 1939, il obtient le titre de docteur ès sciences en physique et en mathématiques, sa dissertation doctorale porte sur l'oxydation de l'azote, le mécanisme qu'il découvre est appelé Thermal NO Mechanism ou Zeldovich Mechanism.
Entre 1937 et 1948, il travaille sur la théorie de l'ignition, la combustion et la détonation. En 1939-1940, avec Yulii Borisovich Khariton, il réalise d'importantes avancées sur la théorie des réactions en chaîne. En 1943, il commence sa participation au projet soviétique de bombe atomique sur lequel il travaille avec Igor Kourtchatov. Son travail sur ce projet se poursuit jusqu'en 1963.
En 1952, il débute ses recherches dans le domaine des particules élémentaires. Il prédit la désintégration bêta du méson pi. Avec S. Gershtein, il note l'analogie entre l'interaction faible et la force électromagnétique et en 1954 il prédit la fusion catalysée par muons (Andreï Dmitrievitch Sakharov et F.C. Frank sont eux aussi crédités de cette prédiction). En 1977, Zeldovitch reçoit la médaille Kurchatov, la plus haute distinction soviétique en physique nucléaire pour « ses prédictions des propriétés des neutrons ultra-froids , leur détection et leur étude. »
En 1965, à 49 ans, il passe à l'astrophysique et à la cosmologie. La même année il devient professeur du département de physique de l'Université de Moscou et prend la tête de la division d'astrophysique relativiste de l'institut d'astronomie Sternberg. Zeldovitch travaille sur la théorie de l'évolution d'un univers chaud, les propriétés du fond diffus cosmologique, la structure de l'univers à grande échelle et les trous noirs. Il prédit avec Rashid Sunyaev que le fond diffus doit être soumis à l'effet Compton inverse (voir l'effet Sunyaev-Zel'dovich). Il est élu membre étranger de la Royal Society le 26 avril 1979.
Stephen Hawking a dit de Zeldovitch : « avant de vous avoir rencontré, je pensais que vous étiez un auteur collectif, comme Bourbaki. »