Tcherenkov s'intéresse à ce que l'on appelle de nos jours l'effet Vavilov-Čerenkov. Il était connu depuis 1910 que l'eau, sous l'effet d'une source radioactive, émet un rayonnement bleu. Tcherenkov, avec Sergueï Vavilov, prouve entre 1934 et 1937 que la radiation produite est indépendante de la composition du liquide, ce qui était en désaccord avec la théorie de la fluorescence alors admise pour expliquer ce phénomène. Ses collègues Igor Tamm et Ilia Frank en donnent une explication mathématique rigoureuse et simple. L'effet Tcherenkov est produit par l'effet Compton, provoqué par les rayons gamma dus à la radioactivité, sur les électrons du milieu. Ces travaux leurs valent le prix Nobel de physique en 1958 « pour la découverte et l'interprétation de l'effet Tcherenkov ». L'effet Tcherenkov est devenu un instrument indispensable à la physique des particules. Il permet la construction de détecteurs de particules simples grâce auxquels on peut déduire la masse et la vitesse d'une particule.