Riemann mentionna la conjecture, qui sera appelée plus tard hypothèse de Riemann, dans son article paru en 1859 Über die Anzahl der Primzahlen unter einer gegebenen Grösse (Sur le nombre de nombres premiers inférieurs à une taille donnée), mais cette conjecture n'étant pas le sujet principal de son article, il n'attend pas de démonstration. Riemann savait que les zéros non triviaux de la fonction Zeta étaient distribués symétriquement autour de la ligne s=21+it et savait que tous les zéros non triviaux se trouvaient dans la bande 0≤Re(s)≤1.
En 1896, Hadamard et de la Vallée-Poussin prouvèrent indépendamment qu'aucun zéro ne pouvait se trouver sur la ligne Re(s)=1, ainsi que tous les zéros non triviaux devaient se trouver dans l'intérieur de la bande critique 0 < Re(s) < 1. Ceci était un résultat clé dans la première démonstration complète du théorème des nombres premiers.
En 1900, Hilbert incluait l'hypothèse de Riemann dans sa célèbre liste de 23 problèmes non résolus — il fait partie du 8 problème, celle-ci comprenant aussi la conjecture de Goldbach. Il aurait dit à propos de ce problème : « Si je devais me réveiller après avoir dormi pendant mille ans, ma première question serait : L'hypothèse de Riemann a-t-elle été prouvée ? ». L'hypothèse de Riemann est le seul problème de Hilbert à figurer dans la liste des problèmes du prix du millénaire de l'institut de mathématiques Clay.
En 1914, Hardy a prouvé qu'il y avait une infinité de zéros sur la droite critique Re(s)=21. Cependant il reste possible qu'il y ait une infinité de zéros non triviaux ailleurs que sur la droite critique. Des travaux ultérieurs de Hardy et Littlewood en 1921 et de Selberg en 1942 ont donné une estimation de la densité moyenne de zéros sur la droite critique.
Des travaux récents se sont focalisés sur le calcul explicite d'endroits où il se trouve beaucoup de zéros (dans l'espoir de trouver un contre-exemple) et de placer des bornes supérieures sur la proportion de zéros se trouvant ailleurs que sur la droite critique (dans l'espoir de la réduire à zéro).