Il adhère au Parti socialiste ouvrier espagnol (PSOE) en 1974.
Cinq ans plus tard, il est élu conseiller municipal de Majadahonda, près de Madrid, et devient en même temps responsable de la politique fiscale du gouvernement pré-autonome de la Communauté de Madrid.
En 1982, les socialistes remportent les législatives du 28 octobre, et Josep Borrell est nommé secrétaire général à l'Économie du ministère de l'Économie et des Finances. En 1984, il est promu secrétaire d'État aux Finances et se voit chargé de la lutte contre la fraude fiscale.
A l'occasion des législatives anticipées de 1986, il est élu député de la province de Barcelone, et se voit réélu lors du scrutin suivant, en 1989.
Le 12 mars 1991, à l'occasion d'un important remaniement du gouvernement, Josep Borrell est nommé ministre des Travaux publics et des Transports, nouveau poste créé par Felipe González en fusionnant les départements des Travaux publics et de l'Urbanisme, et des Transports, du Tourisme et des Communications.
Reconduit au Congrès des députés aux législatives de 1993, il conserve son portefeuille, avec le titre de « ministre des Travaux publics, des Transports et de l'Environnement ». C'est la première fois dans l'histoire gouvernementale espagnole qu'un département fait explicitement référence à l'environnement.
Il conserve son siège aux élections générales du 3 mars 1996, remportées par le Parti populaire, puis intègre l'année suivante la commission exécutive fédérale du PSOE, formée par Joaquín Almunia, nouveau secrétaire général du parti.
Le 24 avril de l'année suivante, il remporte, avec 55,1% des voix, les primaires organisées au sein du Parti socialiste ouvrier espagnol afin de choisir son candidat à la présidence du gouvernement dans le cadre des prochaines élections législatives, battant Joaquín Almunia à la surprise générale.
Il est cependant contraint de renoncer tout juste un an plus tard, le 14 mai 1999, du fait du manque d'appui de l'appareil du parti et d'un scandale autour d'une fraude fiscale présumée de deux de ses anciens collaborateurs au ministère de l'Économie et des Finances.
Réélu au Congrès des députés lors du scrutin du 12 mars 2000, puis lors des élections du 14 mars 2004, il est choisi pour prendre la tête de liste socialiste aux européennes du 13 juin.
Cinq semaines plus tard, le 20 juillet 2004, Josep Borrell est élu président du Parlement européen au premier tour de scrutin, par 388 voix contre 208 au libéral polonais Bronislaw Geremek et 51 suffrages au communiste français Francis Wurtz.
Conformément à l'accord passé avec les conservateurs, il abandonne son poste le 16 janvier 2007 et se voit remplacé par l'allemand Hans-Gert Pöttering.
