Né à Schickenhof en Bavière, Stark a fait ses études au gymnasium de Bayreuth et plus tard à Ratisbonne. Il a commencé ses études universitaires à l'université de Munich, où il a étudié la physique, les mathématiques, la chimie et la cristallographie.
Il a soutenu son doctorat sur un sujet de physique d'Isaac Newton.
Il a travaillé dans divers postes à l'institut de physique jusqu'en 1900, où il est devenu professeur non salarié à l'université de Göttingen. Il a travaillé dans les départements de physique de plusieurs universités, dont l'université de Greifswald, jusqu'en 1922. En 1919, il a reçu le prix Nobel de physique pour sa « découverte de l'effet Doppler et du dédoublement des raies spectrales par les champs électriques » (ce dernier effet est connu sous le nom d'effet Stark).
Dès l'arrivée des nazis au pouvoir en Allemagne en 1933, Stark est nommé président de l'Institut physico-technologique (Physikalische-technische Reichsanstalt), puis en 1934 président de la Deutsche Forschungsgemeinschaft. Il conserve ces postes jusqu'à sa retraite en 1939. Stark a publié plus de 300 articles, principalement sur l'électricité.
Pendant le régime nazi, il a essayé (avec Philipp Lenard) de promouvoir une physique allemande (Deutsche Physik ou « physique aryenne », mouvement contre la « physique juive » d'Albert Einstein).
Il s'est marié avec Luise Uepler, et ils ont eu cinq enfants.