Esprit précis et rigoureux, Hoüel ne pouvait se contenter des à peu près. Répéter une suite de phrases et de propositions conventionnelles à ses élèves ne lui suffisait, il voulait connaître la portée et la justesse de ses affirmations. ses premières recherches sur l’enseignement et sur les principes fondamentaux de la géométrie remontent à cette période où il publie une série de notes et de mémoires dans but de consolider l’édifice géométrique qui eurent pour résultat d’entraîner les géomètres à l’étude de régions peu explorées jusqu’alors. L’examen des traités de géométrie élémentaire conduisit Hoüel à la conclusion que tous laissaient à désirer sous quelque rapport. Les Éléments d’Euclide constituant encore ce qu’il y avait de mieux on était en droit de demander, dans les restaurations d’Euclide qui étaient faites, des modifications assez notables. Il fallait remplacer les démonstrations indirectes par des démonstrations directes, en supprimer autant que possible les démonstrations par l’absurde et introduire d’une façon plus nette et bien avouée l’idée de limite. Sans prétendre à l’idée de produire un traité complet de géométrie, Hoüel essaya, dans son « Essai d’une exposition rationnelle des principes fondamentaux de la géométrie », paru à Greifswald en 1863, qu’il publia plus tard sous une forme plus complète et sous le titre d’Essai critique sur les principes fondamentaux de la géométrie élémentaire ou Commentaire sur les XXXII premières propositions d’Euclide, tout d’abord en 1867, puis, en seconde édition, en 1885, de soumettre les premières propositions d’Euclide à une révision délicate, de distinguer d’une façon précise les axiomes d’ordre purement géométrique, de déterminer le rôle de l’expérience dans l’établissement et dans le choix de ces axiomes et d’arriver à un mode d’enseignement rationnel et progressif de la géométrie.
L’existence d’un espace immobile et indéfini, où les corps peuvent être déplacés en conservant toutes leurs propriétés, étant admise, la géométrie est fondée sur la notion indéfinissable et expérimentale de l’invariabilité des figures. L’idée d’invariabilité de forme émane de l’expérience. L’hypothèse de l’invariabilité de figure ne peut être assise sur des expériences susceptibles d’une approximation indéfinie et présentant une certitude objective. Celle-ci est acceptée parce qu’elle paraît plus conforme aux impressions physiologiques et qu’elle explique de la façon la plus simple les phénomènes affectant les sens. Ceci posé, Hoüel prend pour base les axiomes suivants :
Axiome I. - Trois points suffisent, en général, pour fixer dans l’espace la position d’une figure.
Axiome II. - Il existe une ligne, appelée ligne droite, dont la position dans l’espace est complètement fixée par les positions de deux quelconques de ses points, et qui est telle que toute portion de cette ligne peut s’appliquer exactement sur une autre portion quelconque, dès que ces deux portions ont deux points communs.
Axiome III. - Il existe une surface telle qu’une ligne droite, qui passe par deux quelconques de ses points, y est renfermée tout entière, et qu’une portion quelconque de cette surface peut être appliquée exactement sur la surface elle-même, soit directement, soit après qu’on l’a retournée, en lui faisant faire une révolution autour de deux de ses points. Cette surface est le plan.
Hoüel établit ces axiomes, d’une part, en faisant appel à l’expérience, d’autre part, en introduisant l’idée du mouvement abstraction faite du temps employé à l’accomplir, c’est-à-dire l’idée de mouvement géométrique. L’idée de mouvement n’est d’ailleurs plus complexe que celle de grandeur et d’étendue car c’est à la notion de mouvement qu’on doit l’idée de grandeur. Il est donc permis de faire appel à cette idée, et il y a avantage à l’employer et à la formuler le plus tôt et le plus explicitement possible, au lieu de la cacher sous des mots sans rigueur et sans précision.
Un des faits principaux sur lesquels Hoüel appuie est l’emploi de l’expérience dans l’établissement des axiomes. Après avoir déterminé l’origine d’une science exacte et après avoir exposé son objet et les problèmes qu’elle a à résoudre, Hoüel remarque que la construction d’une telle science se compose essentiellement de deux parties distinctes ; l’une d’elles consistant à rassembler des faits, à les discuter et à en tirer par induction des conclusions qui servent de principes à la science ; l’autre, qui est la partie purement logique de la science et la seu1e qui ‘ait le droit de porter le nom de mathématique, s’occupant de combiner ces faits généraux, ces principes fondamentaux, et d’en tirer rationnellement toutes les conclusions possibles. S’il est permis au mathématicien, en tant que tel, de choisir comme point de départ les principes, les axiomes qu’il lui plaît de se donner, il doit toutefois s’astreindre à ne pas prendre d’axiomes contradictoires, c’est-à-dire que les principes par lui choisis ne doivent pas, lorsqu’ils ont été combinés par des procédés logiques, conduire à des conclusions contradictoires. Le mathématicien doit d’ailleurs réduire au nombre minimum ses axiomes et n’accepter comme principes fondamentaux que ceux qui logiquement ne peuvent pas se déduire les uns des autres.
Hoüel postulait qu’une science établie de la sorte, que les faits auxquels elle conduit soient susceptibles ou non d’application ou de représentation physique, était vraie au point de vue rationnel, au point de vue absolu. Si au contraire le mathématicien veut établir une science exacte pouvant conduire à des résultats pratiques, il lui faut choisir ses principes en conformité avec les faits d’observation, et il doit alors tirer les axiomes de l’expérience. Si le raisonnement conduit alors à des conclusions fausses, c’est que les hypothèses primordiales sont elles-mêmes fausses, et il faut en changer. La partie purement logique, quoique devenue inutile, était irréprochable.
Considérant que, quoique on puisse choisir de différentes manières les axiomes admis comme servant de base à une science exacte, il faut toutefois les choisir les plus simples possible, en sorte qu’ils s’appuient sur les notions les moins complexes et les plus faciles à concevoir, Hoüel a appuyé à différentes reprises sur la notion de la ligne droite, sur son axiome. Il a été ainsi amené à discuter d’une façon complète la 20e proposition d’Euclide selon laquelle la ligne droite est le plus court chemin d’un point à un autre, proposition que de nombreux auteurs ont choisie comme définition de la ligne droite.
Quoique cette vérité puisse être considérée comme une vérité d’expérience, elle est, au point de vue géométrique, assez complexe et Euclide a démontré, au lieu de l’admettre, cette proposition qui comprend l’idée de grandeur et de comparaison de la ligne droite à tous les chemins possibles. Le terme longueur demande pour être nettement compris et parfaitement précisé, les notions de limite et d’infiniment petit. Remarquant que la droite est la seule ligne pour laquelle on voudrait prendre comme définition une proposition où figure une propriété de maximum ou de minimum, Hoüel est revenu à plusieurs reprises sur la définition de la longueur d’une courbe et sur l’introduction dans cette définition de la notion nécessaire d’infiniment petit : « j’ai établi d’une manière irréfutable […] que le mot longueur d’une courbe est complètement vide de sens au point de vue de la rigueur mathématique tant qu’on n’a pas établi une suite de théorèmes dont le dernier est une application élémentaire du calcul intégral. »
Le quatrième axiome que prend Hoüel est le suivant : Par un point donné on ne peut mener qu’une seule parallèle à une droite donnée. C’est là l’axiome XI (dit postulatum) d’Euclide que l’on avait si souvent voulu réduire aux autres axiomes, mais sans jamais y parvenir. déjà en 1863 Hoüel considérait la démonstration du postulatum d’Euclide comme impossible. On peut d’ailleurs prendre comme axiome une proposition différente ; c’est ainsi que, en faisant appel à la notion de direction, l’idée de direction étant alors considérée comme une. donnée fondamentale de l’expérience, Hoüel montre que l’on peut prendre cet axiome : Deux droites de même direction ne peuvent se rencontrer, et sont parallèles. Quoi qu’il en soit, il admet le postulatum d’Euclide ou bien il la remplace par une proposition équivalente.
Les idées de Hoüel ne devaient pas tarder à se préciser sur ce point, et cela grâce à la connaissance des travaux de deux géomètres, l’un russe et l’autre hongrois. Le monde savant laissait dans l’oubli les noms de Nikolaï Lobatchevski et de János Bolyai, tandis que les recherches sur la proposition des parallèles affluaient dans les journaux scientifiques. En 1866, Hoüel écrit : « II paraît certain que la démonstration de l’axiome XI d’Euclide ne peut se déduire des axiomes précédents. »
Dès que Hoüel eut ainsi connaissance des travaux de Nikolaï Lobatchevski, professeur à l’université de Kazan, il se mit à l’ouvrage et, dès l’année 1866, il publia la traduction des études géométriques sur la Théorie des parallèles de ce dernier dans les Mémoires de la Société des Sciences physiques et naturelles de Bordeaux. Gauss était en possession depuis 1792 des vrais principes sur lesquels repose la géométrie et il avait fondé sur ces bases une doctrine complète à laquelle il avait donné le nom de « géométrie non euclidienne ». Il n’avait cependant rien publié de ses recherches dont on ne connaissait que quelques résultats fournis par certaines notices des Geleltrte Anzeiger et par des passages de sa correspondance avec Schumacher qui n’a été éditée qu’en 1860. Lorsque Gauss eut connaissance des travaux de Nikolaï Lobatchevski et du géomètre hongrois János Bolyai, il renonça à la propriété de ses découvertes, et se contenta de donner son adhésion complète à la géométrie imaginaire de Lobatchevski, tout en trouvant la dénomination mal choisie.
Hoüel parvint à se procurer l’un des deux exemplaires du rarissime opuscule de János Bolyai pour en faire la traduction qu’il publia sous le nom de La Science absolue de l’espace indépendant de la vérité ou de la fausseté de l’axiome XI d’Euclide (que l’on ne pourra jamais établir a priori), suivie de la quadrature géométrique du cercle, dans le cas de la fausseté de l’axiome XI. Tirant alors parti de tous les matériaux qu’il avait recueillis, Hoüel publia sa Note sur l’impossibilité de démontrer, par une construction plane, le principe de la théorie des parallèles du postulatum d’Euclide, arrivant ainsi au résultat qu’il avait prévu dès 1863. Hoüel rendit à la science un service en tranchant la question. La théorie des parallèles cessa d’être l’écueil et le scandale des éléments de géométrie et le premier résultat obtenu par Hoüel fut de tranquilliser les mathématiciens, tout en leur évitant des recherches aussi laborieuses que vaines et inutiles. Ayant montré l’importance de l’étude des principes fondamentaux de la géométrie, Hoüel fut rapidement suivi dans cette voie par les Witte, Agolini, Baltzer, Batlaglini, Genocchi, Fleury, Engel, de Tilly, Becker, Lionnet, Bounel, Lamarle, Rosanes, Transon, Bouniakowski, Liard, Clifford, Cassano, Flye Sainte-Marie, Saleta, Frischauf, Helmholtz, Funcke, Günther, Liebmann, Schmitz-Dumond, Schlegel, Zolt, Lewes, Lüroth, Tannery, Vachtchenko-Zakhartchenko, etc.
Hoüel a également publié quelques remarques sur la Trigonométrie dans le Giornale di Matematiche où il déplorait que les principes de la trigonométrie ne soient en général pas exposés avec la simplicité et la généralité désirables et montrait les modifications devant être introduites dans son enseignement. On avait l’habitude d’introduire dès le début l’emploi des tables donnant non les valeurs numériques des fonctions circulaires, mais de leurs logarithmes. Hoüel fit voir qu’il serait préférable de commencer par l’étude de la construction si simple des tables des valeurs naturelles de ces fonctions avec un nombre très restreint de décimales. Il appuya plus spécialement sur la pratique vicieuse alors en vogue chez les calculateurs et d’après laquelle on s’imaginait toujours abréger le travail en réduisant tous les termes d’une formule trigonométrique à un seul à l’aide d’angles auxiliaires.