Il s'intéressa tout d'abord à la toxicologie et à l'histologie, avant de se tourner vers la neurologie, discipline dans lequel il s'affirma comme l'un des plus grands maîtres du XIXe siècle. Il utilisa largement les techniques de l'électrodiagnostic grâce auxquelles il démontra l'irritabilité accrue des nerfs dans le tétanos (phénomène d'Erb). Dans le domaine du diagnostic clinique en neurologie, on lui doit d'avoir précisé la sémiologie des réflexes tendineux et d'avoir introduit leur recherche systématique dans l'examen clinique neurologique.
Il fut parmi les premiers à observer la dégénérescence des fibres nerveuses dans le tabes dorsalis, une affection dont il démontra en 1875 l'origine syphilitique. Cette même année il identifie également la paraplégie spinale syphilitique (ou paraplégie d’Erb). Il contribua aussi aux recherches sur la poliomyélite, la claudication intermittente, et l'atrophie musculaire progressive. En 1879, il distingue les formes bulbaires de la myasthénie (myasthenia gravis) des paralysies bulbaires d’autres causes. Le tableau clinique de la myasthénie sera par la suite complété par Samuel Goldflam.
Il est l'auteur de plus de 250 ouvrages médicaux dont le Manuel sur l'électrothérapie (Handbuch über die Elektrotherapie) et une importante étude sur la paralysie spinale. Parmi ses élèves on peut citer notamment les neurologues Ernst Remak (1849-1911), Max Nonne (1861-1959) et Adolf Wallenberg (1862-1949).
