Une version faible fut énoncée par Yutaka Taniyama en septembre 1955, au cours d'une session de problèmes lors d'une conférence à Tokyo : il demanda s'il était possible de trouver une forme dont la transformée de Mellin donnerait la fonction L de Hasse-Weil de la courbe elliptique. Dans une série d'articles, Goro Shimura construisit pour chaque forme modulaire dotée de bonnes propriétés (en particulier de poids 2 et à coefficients rationnels) une courbe elliptique adéquate, c'est-à-dire qu'il établit la moitié du dictionnaire entre « elliptique » et « modulaire ». Taniyama se suicida en 1958.
La conjecture fut reformulée par André Weil dans les années 1960, lorsqu'il montra que la modularité résulterait de propriétés simples sur les fonctions L de Hasse-Weil. Cette formulation rendit la conjecture plus convaincante et le nom de Weil lui fut longtemps associé, parfois de manière exclusive. Elle devint aussi une composante importante dans le programme de Langlands.
Dans les années 1960, Y. Hellegouarch avait étudié les propriétés de courbes elliptiques associées à des contre-exemples au dernier théorème de Fermat. Reprise dans les années 1980 par Gerhard Frey, et précisée par Jean-Pierre Serre, cette idée permit à Ken Ribet de démontrer que la conjecture de Shimura-Taniyama-Weil pour ces courbes « de Hellegouarch-Frey » impliquait le dernier théorème de Fermat. En 1994, Andrew Wiles, avec l'aide de son ancien élève Richard Taylor, démontra un cas particulier de la conjecture (le cas des courbes elliptiques semi-stables), qui suffisait pour la preuve du dernier théorème de Fermat.
La conjecture complète fut finalement démontrée en 1999 par Breuil, Conrad, Diamond et Taylor en s'appuyant sur les idées de Wiles.
On peut en déduire un certain nombre de résultats dans la lignée du dernier théorème de Fermat. Par exemple : « aucun cube n'est la somme de deux puissances n-ièmes premières entre elles avec n ≥ 3 ».
En mars 1996, Wiles partagea le Prix Wolf avec Robert Langlands. Bien qu'aucun des deux n'ait démontré la conjecture complète, il fut reconnu qu'ils avaient établi les résultats clés menant à sa démonstration.