L'Elbe est cité pour la première fois à l'écrit par le géographe Strabon. Les Romains atteignent ses rives en -9.
Le vaste bassin de l'Elbe a d'abord constitué une voie importante de communication entre le nord et le sud de l'Europe. Les peuplades protohistoriques, Germains puis Slaves, l'ont parcouru au cours de leurs migrations à l'époque romaine puis durant le haut Moyen Âge.
Le fleuve a également joué le rôle d'une frontière naturelle importante, tantôt ouverte tantôt fermée.
Au IXe siècle, L'Elbe marque la limite orientale de l'Empire des Francs de Charlemagne.
À partir de 930, l'Elbe constitue la frontière ouverte entre Slaves et Saxons (source : Histoire des Saxons, de Widukind, moine de l'abbaye de Corvey). Cette frontière sera le théâtre d'affrontements entre eux durant quasiment tout le Moyen Âge.
En 1821, la liberté de navigation de la Bohème à la mer du nord est codifiée par l'acte d'Elbe.
Possession allemande au début du XXe siècle, l'Elbe devient internationale avec le traité de Versailles en 1919.
En 1936, l'accord de l'acte d'Elbe est unilatéralement rompu par le régime nazi qui l'annexe.
En 1945, les troupes soviétiques et américaines qui ont envahi l'Allemagne nazie opèrent leur jonction sur l'Elbe à Torgau.
L'industrie tchèque et allemande mais aussi l'agriculture, par le biais des pesticides qui y étaient déversés, ont contribué durant le reste du XXe siècle à faire de l'Elbe un « fleuve mort sur le plan écologique » (dans la région de Dresde, en 1990).
À la fin des années 1990, une prise de conscience a amené la naissance d'un important programme d'action écologique, dressé jusqu'en 2010. Celui-ci a notamment permis la réintroduction du saumon dans le fleuve.
L'Elbe a subi une crue exceptionnelle en août 2002.
L’affluent de l’Elbe le plus important est la Vltava (en allemand la Moldau) longue de 440 km, qui rejoint l’Elbe près de Mělník un peu au nord de Prague, à 279 km de la source de l’Elbe. A la jonction des deux rivières, la Moldau a un débit supérieur de 150 m3/s à celui de l’Elbe, si bien qu’on devrait dire que l’Elbe se jette dans la Moldau. Par le biais de la Vltava, le bassin de l’Elbe s’étend à de petites parties de la Bavière et de l’Autriche.
Le deuxième grand affluent est la Saale longue de 413 km dont le débit est de 115 m3/s et qui rejoint l’Elbe A Barby. Le bassin de cette rivière comprend l’ouest de la Saxe, la plus grande partie de la Thuringe et l’est du Harz mais elle prend sa source dans le massif des Fichtel en Bavière.
L'Havel est avec ses 325 km le plus long des affluents droits de l’Elbe. Son débit moyen à sa confluence avec l’Elbe près de Havelberg est de 105 m3/s. Si on prend en compte son affluent la Spree, elle est avec ses 560 km le plus long affluent de l’Elbe.
L'Eger (en tchèque Ohře) a une longueur de 291 km. Son cours suit le graben de l'Eger et le sud des monts Métallifères. La rivière prend sa source dans le Fichtelgebirge — comme la Saale et le Main — et rejoint l’Elbe à proximité de la ville tchèque de Litoměřice (en allemand Leitmeritz).
La Mulde (124 km mais 290 km avec la Mulde de Zwickau) commence à Colditz à la jonction de la Mulde de Freiberg (124 km) et la Mulde de Zwickau (166 km). Elle récupère la majorité des eaux de la partie du massif du Herz.
L'Elde (220 km) rejoint l'Elbe à Dönitz dans le Mecklenbourg. Sur une grande partie de son cours elle a été canalisée pour permettre la circulation des navires entre l'Elbe et les lacs Schwerin et Müritz.
L'Elster Noire (en allemand : Schwarze Elster) est avec ses 188 km le deuxième affluent droit par sa longueur. Elle prend sa source dans l’Oberlausitz quelques kilomètres à l’ouest de la vallée de la Spree. Elle traverse des régions sableuses et de de marais et transporte peu de sédiments contrairement à l’Elster blanche (affluent de la Saale qui coule sur presque toute sa longueur dans des terrains argileux).
L’Oste (153 km) rejoint l’Elbe au niveau de son estuaire. Elle est reliée aux affluents de la Weser par un canal qui traverse les marais de Teufelsmoor mais cette liaison n’est plus utilisée aujourd’hui par les navires.
L’Ohre (110 km) marque la frontière entre la Börde de Magdebourg et l’Altmark. Le canal du Mittellandkanal a été construit dans sa vallée.
La rivière Polzen (102 km) récupère les eaux du flanc sud des massifs des Elbsandsteingebirge et de Lausitzer et rejoint l’Elbe à Děčín (Tchéquie) quelques kilomètres au sud de la frontière germano-tchèque.