Il poursuit ses travaux sur les ondes hertziennes et sur leur réception à grande distance. Il fait devant la Cambridge Physical Society un exposé remarquable, qui — fait rare pour un si jeune chercheur — est publié dans les Philosophical Transactions de la Royal Society de Londres, ce qui lui procure une grande fierté.
En décembre 1895, il se met à étudier avec Thomson l'effet des rayons X sur un gaz. Ils découvrent que les rayons X ont la propriété d'ioniser l'air en produisant de grandes quantités de particules chargées, autant positives que négatives, et que ces particules peuvent se recombiner pour donner des atomes neutres. De son côté, Rutherford invente une technique pour mesurer la vitesse des ions, et leur taux de recombinaison. Ce sont ces travaux qui l'orientent définitivement dans la voie qui le rendra célèbre.
La même année, il succède à J.J. Thomson au laboratoire Cavendish, dont il devient le directeur. C'est le début d'un âge d'or, pour le laboratoire comme pour Rutherford, même si ses travaux de recherche marquent le pas. Son influence sur la recherche dans le domaine de la physique nucléaire est énorme. Par exemple, dans une conférence qu'il donne devant la Royal Society, il fait allusion à l'existence du neutron et à des isotopes de l'hydrogène et de l'hélium. Et c'est au laboratoire Cavendish, sous son impulsion, que ceux-ci seront découverts.
James Chadwick, découvreur du neutron, Niels Bohr, qui montra que le modèle planétaire de Rutherford n'était pas stable, et Robert Oppenheimer, considéré comme le père de la bombe atomique, comptent parmi ceux qui étudièrent au laboratoire du temps de Rutherford. Henry Moseley, qui fut son étudiant, montra en utilisant la diffraction des rayons X que les atomes contenaient autant d'électrons qu'il y avait de charges positives dans le noyau, et qu'ainsi ses résultats « soutenaient fortement les vues de Bohr et Rutherford ».
Les nombreux cours qu'il donna au laboratoire Cavendish et le grand nombre de contacts qu'il eut avec ses étudiants, donna de Rutherford l'image d'un homme extrêmement attaché aux faits, plus encore qu'à la théorie, qui pour lui n'était en quelque sorte qu'une simple « opinion ». Cet attachement aux faits expérimentaux était le signe d'une grande rigueur et d'une grande honnêteté. Lorsque Fermi réussit à désintégrer divers éléments à l'aide de neutrons, il lui écrivit pour le féliciter de s'être « échappé de la physique théorique ».
Heureusement cependant, Rutherford ne s'arrêtait pas aux faits, et sa grande imagination lui faisait entrevoir les conséquences théoriques les plus lointaines. Mais il ne supportait pas que l'on complique les choses inutilement. Il faisait souvent des remarques à ce propos aux visiteurs du laboratoire qui venaient exposer leurs travaux aux étudiants (amusés) et aux chercheurs, quelle que soit la renommée du visiteur. Son attachement à la simplicité était presque proverbial. Il disait d'ailleurs : « Je suis moi-même un homme simple. »
Son autorité au laboratoire Cavendish n'était pas basée sur la peur qu'il pouvait inspirer. Au contraire, Rutherford était d'un caractère jovial et on savait que ses travaux avançaient lorsqu'il chantonnait dans son laboratoire. Il était respecté par ses étudiants, moins pour ses travaux passés ou pour le mythe qui l'entourait, que pour sa personnalité attachante, sa générosité et son autorité intellectuelle, au point qu'il était considéré comme « le professeur » de Cambridge.
On le surnommait « le crocodile », parce que, comme un crocodile qui ne voit jamais sa queue, il regardait toujours devant lui.
Cette époque fut aussi pour Rutherford celle des honneurs : il fut président de la Royal Society de 1925 à 1930, et président de l'Academic Assistance Council qui, en ces temps troublés politiquement, aidait les universitaires allemands qui fuyaient leur pays. Il fut également lauréat de la médaille Copley en 1922, de la Médaille Franklin en 1924 et du Faraday Lectureship de la Royal society of chemistry en 1936. Il fit en 1925 son dernier voyage en Nouvelle-Zélande, son pays natal qu'il n'oubliait jamais, et fut reçu comme un héros.
C'est en 1931 qu'il fut anobli et obtint le titre de Baron Rutherford of Nelson, of Cambridge. La même année mourut son unique fille, Eileen, neuf jours après avoir donné naissance à son quatrième enfant.
Rutherford, qui était un homme physiquement vigoureux, entra à l'hôpital en 1937 pour une opération mineure, après s'être fait mal en coupant des arbres dans sa propriété. À son retour chez lui, il semblait se remettre sans problème, quand son état s'aggrava soudainement. Il mourut très brusquement le 19 octobre et fut inhumé à l'abbaye de Westminster, aux côtés de Newton et de Kelvin.
Son effigie orne désormais les billets de 100 dollars néo-zélandais.