Jean Cavaillès, fils du lieutenant-colonel Ernest Cavaillès, de religion protestante, fut tout d'abord un brillant élève. En 1923 il est reçu premier au concours d'entrée de l'École normale supérieure de la rue d'Ulm après l'avoir préparé seul. Il est également titulaire d'une Licence de Mathématiques. En 1927, il est agrégé de philosophie et accomplit l'année suivante son service militaire comme sous-lieutenant dans une unité de Tirailleurs Sénégalais.
Il séjourne à plusieurs reprises en Allemagne (Berlin, Hambourg, Göttingen, Munich et Fribourg) et il peut observer le régime nazi. Il est boursier d'étude de la Fondation Rockefeller en 1929-1930 pour une étude sociologique sur les mouvements de jeunesse. Il travaille sur la théorie des ensembles en vue de sa thèse de doctorat sur la philosophie des mathématiques et rencontre plusieurs savants allemands. Il étudie ainsi à Tübingen les archives du mathématicien Paul du Bois-Reymond. Abraham Adolf Fraenkel l'oriente vers la correspondance entre Richard Dedekind et Georg Cantor, qu'il publie avec Emmy Noether. En 1931, il rend visite au philosophe Edmund Husserl et écoute également Martin Heidegger. En 1934, il a lu Mein Kampf, il a entendu Adolf Hitler. Il a rencontré en 1936 à Altona les opposants au régime hitlérien.
De 1929 à 1935, il travaille en tant qu'agrégé-répétiteur à l'École Normale. Il enseigne au Lycée d'Amiens en 1936.
En 1937, il soutient à la Sorbonne deux thèses, Méthode axiomatique et formalisme (thèse principale) et Remarques sur la formation de la théorie abstraite des ensembles (thèse complémentaire) sous la direction de Léon Brunschvicg. Il s'inscrit ainsi à la suite d'autres logiciens français, tels Louis Couturat ou Jacques Herbrand. Il est maître de conférences de logique et de philosophie générale à l'université de Strasbourg.
Mobilisé en septembre 1939, comme officier de corps franc puis officier du chiffre au ministère de la Guerre, il est cité pour son courage à deux reprises, mais il est fait prisonnier le 11 juin 1940 en Belgique. Il s'évade pour rejoindre à Clermont-Ferrand l'université de Strasbourg qui y est repliée. Un haut dignitaire de l'université lui reproche d'avoir déserté parce qu'il s'est évadé. Il est cofondateur à Clermont-Ferrand, en 1940, avec Lucie Aubrac et Emmanuel d'Astier de La Vigerie du mouvement Libération-Sud. Il contribue également à la fondation du journal Libération destiné à gagner un plus vaste public. Le premier numéro paraît en juillet 1941.
En 1941, il est nommé professeur de logique et de philosophie des sciences à la Sorbonne. Il participe alors en zone nord à la résistance au sein du mouvement Libération-Nord. Il s'en détache pour fonder en 1942, à la demande de Christian Pineau, le réseau de renseignement Cohors-Asturies. Il est favorable à une action militaire.
Il est arrêté par la police française en août 1942 et interné à Montpellier puis à Saint-Paul-d'Eyjeaux, d'où il s'évade en décembre 1942. Dans le camp, il donne une conférence sur la philosophie des mathématiques qu'il utilise comme un langage codé.
Il rencontre Charles de Gaulle à Londres en février 1943. Revenu en France en février de la même année, il se livre essentiellement au renseignement et au sabotage visant la Kriegsmarine. Il confie à son adjoint et ancien élève Jean Gosset la direction de l'Action immédiate. Il est trahi par l'un de ses agents de liaison.
Arrêté le 28 août 1943, à Paris, il est torturé par la Gestapo de la rue des Saussaies, puis il est incarcéré à Fresnes et à Compiègne en attente d'être déporté. Révoqué par le gouvernement de Vichy, il comparaît devant un tribunal militaire allemand et il est fusillé sur le champ le 17 février 1944 dans la citadelle d'Arras. Il est enterré dans une fosse commune sous une croix de bois portant l'inscription Inconnu n° 5.
À la Libération, son corps est exhumé. Compagnon de la Libération à titre posthume, il repose dans la chapelle de la Sorbonne.