Dans la seconde partie de son livre, Poincaré en vient à étudier les rapports entre physique et mathématiques. Son approche, tout à la fois historique et technique, constitue un exemple particulier des idées générales précédentes.
Bien qu'il fût lui-même rarement expérimentateur, Poincaré reconnaît et défend l'importance primordiale de l'expérimentation, qui doit rester un critère de la méthode scientifique en physique. Autrement dit, les mathématiques ne doivent pas ramener à elles la physique, mais s'y développer comme un atout. Cet atout serait d'abord un outil : aux dires de Poincaré, les mathématiques sont « la seule langue que [les physiciens] puissent parler » pour se comprendre et se faire comprendre. Ce langage du nombre semble d'ailleurs révéler une unité cachée des choses naturelles, quand bien même seule une partie des mathématiques s'applique à la physique théorique. L'objectif premier de la physique mathématique n'est pas l'invention ou la découverte, mais la reformulation. C'est une activité de synthèse, qui permet de s'assurer de la cohésion des théories qui ont cours à un moment donné. À un moment donné, car Poincaré reconnaît qu'il est impossible de systématiser toute la physique en une seule théorie axiomatique, à une époque donnée. Les idées de Poincaré sur l'espace et ses trois dimensions vont dans ce sens.
Quels sont les rapports qu'entretiennent physique et mathématiques ? Poincaré avance que les mathématiques (l'analyse) et la physique ont un même esprit, que les deux disciplines partagent un même but esthétique et qu'elles peuvent toutes deux libérer l'homme de sa simple condition. De façon plus pragmatique, ses arguments vont dans le sens d'une interdépendance, à l'image de celle mise à jour entre intuition et analyse. Le langage mathématique permet non seulement d'exprimer l'avancée scientifique, mais aussi de prendre du recul par rapport à l'étude de la Nature. Les mathématiques montrent l'étendue des découvertes ponctuelles et limitées qui sont faites par les physiciens. À l'inverse, la physique joue un rôle moteur pour le mathématicien, un rôle créatif en tant qu'elle pose des problèmes atypiques ancrés dans la réalité. De plus, elle suggère des solutions et des raisonnements - ainsi, le développement du calcul infinitésimal par Newton dans le cadre de la théorie de la Gravitation.
La physique mathématique est née de la Mécanique céleste. En premier lieu, elle est venue conforter la Physique des forces centrales, physique réaliste, mécaniste, qui a dominé le XVIIIe siècle et qui a permis des avancées solides, tant sur le plan théorique que sur le plan expérimental. Mais très vite, conjointement avec le développement de la thermodynamique puis ensuite en opposition, une vision énergétique de la physique commença à se développer parmi les physiciens. Dans ses concepts mathématiques et dans ses idées fondatrices, elle est clairement en désaccord avec la vision newtonienne des interactions entre les corps. C'est au terme d'une première crise que la physique mathématique aboutit à la Physique des principes.
Tout au long du XIXe siècle, des découvertes importantes ont été réalisées dans les laboratoires et en dehors. Nombre d'entre elles ouvrirent des voies théoriques importantes; mais certains faits expérimentaux ne trouvèrent pas d'explication satisfaisante, soit qu'ils fussent ponctuellement observés, soit qu'aucune des théories nouvelles ou en devenir ne réussisse à en rendre compte. Au début du XXe siècle, les principes unificateurs se voient remis en cause dans leur fondements; les plus importants, mis en évidence par les physiciens, tels que rapportés par Poincaré, sont :
Au début du XXe siècle, la majorité des savants (physiciens, mathématiciens, biologistes...) partage le « diagnostic » de Poincaré quant à la crise de la Physique des principes. En fait, il aurait été difficile de faire autrement : elle venait de la découverte de faits expérimentaux dont les principes ne rendaient pas compte, et qu'on ne pouvait bien évidemment pas ignorer. Poincaré reste cependant relativement optimiste quant à l'évolution de la physique face à cette sévère critique de l'expérience. Sa confiance mesurée tient à la nature même des principes : si les physiciens les ont constitués, c'est qu'ils sont commodes et rendent compte d'un grand nombre de lois. Leur valeur objective est de poser une convention scientifique, en somme un socle figé sur la base duquel le vrai et le faux — au sens scientifique — sont départagés.
Mais si les principes sont des conventions, ils ne sont pas pour autant détachés des faits de l'expérience. Au contraire, si ces principes ne peuvent plus soutenir des lois satisfaisantes, en accord avec les faits de l'expérience, ils perdent leur utilité et sont rejetés, sans même avoir été contredits. La chute des lois entraîne la chute des principes, parce qu'ils doivent rendre compte de l'expérience. Mettre à bas ces principes, œuvres de la pensée scientifique sur plusieurs siècles, sans trouver d'explication nouvelle et qui les engloberait (de la même manière que la Physique des principes a englobé la Physique des forces centrales), ce serait reconnaître que toute la physique antérieure n'avait pas de valeur intellectuelle. Aussi, par une confiance de décret, Poincaré ne croit pas que les principes ne puissent être sauvés, d'une quelconque manière. Il affirme qu'il revient aussi à la physique mathématique d'essayer de les reconstituer, ou d'en trouver le successeur (en somme, de viser un retour à l'unité), car elle a contribué à les mettre en doute en les confortant d'abord. De plus, c'est la valeur de la physique mathématique en tant que méthode scientifique qui se voit critiquée, par l'implosion des théories. Deux physiques cohabitent alors : celle venant de Galilée et Newton, et celle venant de Maxwell; mais aucune n'est capable d'expliquer tous les faits de l'expérience désormais constatés, grâce aux progrès techniques.
L'ensemble des problèmes rencontrés se concentre sur l'électrodynamique des corps en mouvements. Poincaré propose rapidement l'idée que c'est l'éther qui se modifierait, et non les corps dotés d'une masse, ce qui vient contre-dire la théorie d'alors (basée sur un éther parfaitement immobile). Surtout, Poincaré met la lumière sur le phénomène de Zeeman, les raies d'émissions discontinues des électrons. Ce problème de la matière discontinue pousserait à formuler un modèle de l'atome pour le moins déstabilisant. En 1913, Niels Bohr présentera son modèle atomique qui repose sur les orbites des électrons, et qui explique aussi bien les phénomènes spectrologiques que la stabilité de l'atome. Mais, en 1905, le problème concerne avant tout la définition de l'infiniment petit, dont on ne sait pas alors s'il doit être pensé sur un même modèle que celui connu pour les corps pesants (le modèle de la mécanique classique), ou s'il s'agit de développer un modèle tout à fait nouveau - pour rendre compte des faits nouveaux. Cette dernière voie, qui sera celle suivie avec la théorie quantique, implique aussi d'abandonner définitivement l'unité déjà remise en cause de la mécanique d'alors.
Poincaré avance que l'extension de la science physique se fera par la considération d'un déterminisme d'un genre nouveau, faisant une place nouvelle au hasard. Et en effet, l'histoire de la physique au XXe siècle est marquée par un paradigme où la probabilité règne. Dans La Valeur de la Science, Poincaré écrit et répète son enthousiasme pour deux voies de recherche : les lois statistiques (faisant suite aux lois différentielles), et la mécanique relativiste (faisant suite à la mécanique newtonienne). Cependant, il ne reprend pas à son compte les idées de Planck. Ce dernier a présenté en 1900 la loi spectrale du rayonnement d'un corps noir, fondatrice de la physique quantique. En 1905, la même année que la publication de La Valeur de la Science, Albert Einstein publie un article décisif sur l'effet photoélectrique, en se basant sur les travaux de Planck. Malgré les doutes de Poincaré, certainement liés à sa vision de la physique comme une approximation du réel (face à l'exactitude mathématique), la mécanique quantique, probabiliste, sera bien la réponse à la seconde crise de la physique mathématique de la fin du XIXe siècle. (On peut préciser que dès 1902, Poincaré envisageait une physique relativiste proche, dans ses développements théoriques, de celle développée et exposée par Einstein quelques années plus tard).