C'est la plus ancienne université allemande, la troisième du Saint-Empire romain germanique après celles de Prague et Vienne. Elle a été fondée en 1386 par le prince Ruprecht I.
Les premiers professeurs vinrent de Paris et de Prague en proie aux guerres, de religion notamment, se réfugier dans cette région stable.
L'arrogance des étudiants envers les citoyens donna fréquemment lieu à des conflits. Ces disputes prenaient parfois un caractère très grave : ainsi en 1406, eut lieu une véritable bataille entre les étudiants et les citoyens. Tout Heidelberg fut en émoi, les cloches sonnèrent l'alarme et le sang coula abondamment. Ruprecht II, alors électeur, prit fait et cause pour l’Alma mater Ruperta et convoqua les bourgeois d'Heidelberg au couvent des Augustins : il leur fit prêter serment de ne jamais insulter les étudiants et de les protéger. L'ordre étant rétabli, les cours reprirent.