Pour expliquer ses prises de positions sociales et politiques, Paul Langevin écrit en 1945 :
« Mon père qui avait dû, malgré lui, interrompre ses études à l’âge de dix-huit ans, m’a inspiré le désir de savoir ; lui et ma mère, témoins oculaires du siège et de la sanglante répression de la Commune, m’ont, par leurs récits, mis au cœur l’horreur de la violence et le désir passionné de la justice sociale. »
Il a très tôt une activité militante : il est signataire dès 1898 de la pétition pro-Dreyfus.
Homme de gauche, militant pacifiste et antifasciste, il participe à la Société des Nations, créée après la Première Guerre mondiale et se positionne nettement contre les armes chimiques et biologiques. Il est à l’origine de la création du Comité de vigilance des intellectuels antifascistes.
Au début de l'occupation allemande, cette notoriété antifasciste lui vaut d'être arrêté le 30 octobre 1940. Son arrestation est à l'origine de la première manifestation anti-allemande, le 11 novembre 1940. Il est alors assigné à résidence à Troyes et enseigne bénévolement à l’École normale d’institutrices.
Président de la Ligue des droits de l'homme de 1944 à 1946, après en avoir été le vice-président à partir de 1927, il fut ce que l'on appelle un compagnon de route du Parti communiste français.
Il est également président du Groupe français d'éducation nouvelle de 1936 à 1946, chargé en 1946 de la réforme de l'enseignement qui sera connue sous le nom de plan Langevin-Wallon . Il est également président de l'Union rationaliste de 1938 à 1946.