La tournure d’esprit de Hoüel l’appelait à s’occuper d’une façon toute particulière des fondements du calcul infinitésimal. Il se trouva forcé, par les cours qu’il avait à donner à la Faculté des sciences de Bordeaux, d’en approfondir les différentes parties. Il consacra à son enseignement tout le temps que lui laissaient ses autres travaux. Infatigable, il ne craignait pas de consacrer une bonne partie de ses veilles laborieuses à la recherche des meilleurs procédés de démonstration, au perfectionnement des théories considérées jusqu’alors comme particulièrement difficiles. Chaque leçon était préparée et écrite avec le plus grand soin : l’ensemble des leçons d’une année servait à la rédaction des cours de l’année suivante. Hoüel est ainsi parvenu à publier en 1871 son Cours autographié puis, continuant sur cette première édition, la révision successive des différentes branches de l’analyse, il couronna ses travaux par la publication du Cours de Calcul infinitésimal dont les volumes se succédèrent d’année en année de 1878 à 1881.
Le tirage des Leçons autographiées publiées par Hoüel en 1872 étant rapidement épuisé, Hoüel en fit imprimer une édition plus complète à laquelle les professeurs et le monde savant fit l’accueil le plus favorable. Dans son introduction, Hoüel s’occupe tout d’abord des principes généraux du calcul des opérations considérées au point de vue le plus abstrait, indépendamment de leur nature intrinsèque et de celle des quantités qui leur sont soumises, et en ayant égard uniquement à leurs propriétés combinatoires. Clairement et simplement exposées, ces notions à l’importance longtemps méconnue y servent de base à l’étude du calcul infinitésimal, mais leur influence s’étend bien au-delà et Hoüel est revenu à maintes reprises sur les lois des opérations et leurs propriétés combinatoires. Hoüel s’était déjà occupé de cette question dans son Essai critique, dans sa Théorie des fonctions complexes (IV, Introduction aux Quaternions), pour y revenir encore dans ses Considérations sur l’idée de quantité, cherchant ainsi, dans différents essais successifs, la forme la plus convenable à donner à cette théorie. Grassmann avait formulé depuis longtemps les propositions fondamentales auxquelles on est conduit dans cette voie et Hankel avait présenté la chose d’une façon plus simple dans ses Vorlesungen über complexe Zahlen. Considérant le Calcul des Opérations au point de vue des applications auxquelles il conduit, Hoüel adopta la méthode de Hankel tout en conservant les notations de Grassmann, qui avaient l’avantage de se prêter facilement à la généralisation, parce qu’elles ne rappelaient par leur forme aucune des notations usuelles, tout en permettant de conserver aux calculs la disposition à laquelle on était habitué.
Hoüel avait été frappé du manque de rigueur avec lequel était présentée à son époque, la théorie des quantités négatives et des quantités imaginaires. Aucune démonstration satisfaisante des règles de calcul relatives à ces quantités n’était donnée. Une série de phrases, dont la forme était savamment déterminée, mais dont le fond manquait absolument de précision, tenait lieu de plus ample démonstration. Ne pouvant se contenter d’un tel état de choses, Hoüel se mit à l’œuvre et arriva, d’une façon tout à fait indépendante de Hamilton, de Grassmann et de Hankel, à la notion du principe de permanence des règles de calcul pour reconnaître de lui-même l’impossibilité d’étendre les règles de calcul admises pour les quantités arithmétiques à toute autre quantité que les quantités négatives et complexes.
Le livre Sur une manière de représenter les quantités imaginaires dans les constructions géométriques (Paris, 1806, in-8°) d’Argand à qui l’on devait l'une des premières interprétations géométriques des quantités complexes, étant devenu très rare, Hoüel rendit un nouveau service à l’histoire de la science en s’en procurant un exemplaire dont il publia une seconde édition, précédée d’une notice sur l’auteur.
L’histoire du développement des idées fondamentales dans la science a toujours attiré l’attention de Hoüel. Il a fait tout ce qu’il a pu pour répandre dans notre pays les connaissances acquises et appréciées à l’étranger. Il a esquissé les différentes phases du développement de l’idée de quantité complexe formée avec deux ou avec plusieurs unités linéairement indépendantes dans les Procès-Verbaux des Mémoires de la Société des Sciences physiques et naturelles de Bordeaux et dans sa Théorie des quantités complexes. Il avait déjà communiqué aux Nouvelles Annales la méthode de Giusto Bellavitis connue sous le nom de calcul des équipollences, où celui-ci avait exposé tout le parti que l’on peut tirer dans les questions les plus simples, tout aussi bien que dans les problèmes réputés les plus difficiles, des constructions dues à Argand. Dans la quatrième partie de sa Théorie des quantités complexes, il essaie d’introduire en France la théorie des quaternions de Hamilton qui y était à peine connue. Hoüel est un de ceux qui ont le plus activement agi pour introduire en France la théorie des déterminants dont l’origine remonte à Leibniz.
Hoüel a également compilé des tables de notation et travaillé sur les perturbations planétaires.