Le développement de la topologie, évoqué plus haut, n'est pas étranger à l'abandon définif de la notion d'espace absolu. Poincaré fait remarquer que le seul système de référence concret est celui, relatif, lié à notre corps. Il ne conçoit que des mouvements relatifs, ces derniers étant pris en sens très large, non nécessairement limités à un espace euclidien. Ainsi remarque-t-il que, si l'espace se déformait, il en serait de même de nos instruments de mesure et que nous n'aurions pas conscience de cette déformation. Ainsi deux espaces sont-ils équivalents non seulement par transformation isométrique, mais également par transformation homéomorphe. Cette question mathématique est à rapprocher des questions physiques liées aux déformations de l'espace dans le sens du déplacement proposées par Lorentz pour expliquer la constance de la mesure de la vitesse de la lumière dans le vide.
Poincaré développe ensuite le rôle des définitions dans l'enseignement, dans un chapitre qui n'a rien perdu de son actualité. Il distingue soigneusement la définition mathématique idéale de celle qu'il convient de donner aux élèves ou aux étudiants. Il explique en quoi il peut être préférable de donner d'abord une définition approximative qui répondra à l'intuition immédiate des élèves, plutôt que de leur donner une définition abstraite dont le rôle, les tenants et aboutissants leur échapperont, quitte à affiner petit à petit cette définition. Il rétorque aux partisans de la rigueur que la définition abstraite elle-même ne peut avoir de sens que si on garde en esprit le cheminement intuitif qui a conduit à sa formation. Les mêmes remarques s'appliquent également à l'enseignement de la physique qui doit rechercher un lien constant entre le monde réel et la présentation des théories physiques les plus abstraites.
Il s'insurge contre ce qu'il considère être des excès de la logique. Il réfute qu'on puisse définir les ordinaux transfinis avant d'en distinguer la classe des ordinaux finis. Ses flèches les plus féroces sont adressées à Peano, qui a formalisé les axiomes relatifs aux entiers, mais s'adressent également à Russel ou à Hilbert. En effet, pour Poincaré, les logiciens ne peuvent procéder que par cercle vicieux dans leur tentative de définir les entiers, l'usage de ceux-ci étant implicite dans leurs raisonnements, ainsi que celui du principe de récurrence. Pour Poincaré, ce dernier principe ne peut donc ni être démontré, ni relever d'une définition des entiers. Il est plutôt un jugement synthétique a priori au sens que lui donne Kant, et est le principe même qui permet à l'intelligence humaine de procéder à des généralisations. On peut rapprocher sa position de celle de Kronecker. Poincaré rejette la notion d'infini actuel, l'infini ne pouvant être à ses yeux que potentiel. Il convient de souligner que Poincaré écrit à une époque où la théorie des ensembles est encore source de contradiction, la mise au point par Zermelo, Fraenkel et Skolem n'ayant pas encore eu lieu. Poincaré pense également qu'il est possible de prouver la non-contradiction d'une théorie précisément en utilisant le principe de récurrence sur le nombre de formules validées, ce que se révèlera faux après les travaux de Gödel.