Au XIXe siècle, l'Espagne était l'un des pays les plus pauvres et les moins développés économiquement d'Europe occidentale. C'était aussi un pays instable sur le plan politique. En conséquence, l'arrivée du chemin de fer y fut relativement tardive. La première ligne construite dans la péninsule ibérique fut une courte ligne reliant Barcelone à Mataró mise en service en 1848, bien qu'à cette époque une ligne était déjà en exploitation à Cuba, alors partie de l'empire espagnol. Ce n'est qu'à partir du moment où, dans les années 1850, l'investissement dans le secteur ferroviaire fut rendu plus attractif pour les capitaux étrangers que la construction de voies ferrées à grande échelle put commencer.
L'une des décisions des plus malheureuses fut celle, prise très tôt, de construire le réseau ferré espagnol à l'écartement inhabituel de 1674 mm (à peu près cinq pieds six pouces, soit six pieds castillans). Ce choix d'écartement fut influencé par le climat d'hostilité qui régnait, dans les années 1850 entre l'Espagne et son voisin français. On pensait alors que l'incompatibilité des réseaux ferroviaires pouvait prévenir tout risque d'invasion par la France. de ce fait, les chemins de fer portugais furent également construits à l'écartement large.
Cette décision politique malheureuse sera regrettée par la suite car non seulement elle créait un obstacle au développement du commerce international, mais elle renchérissait aussi la construction de nouvelles lignes. C'est à cause du coût élevé de construction de lignes à écartement large, surtout en région montagneuse, qu'un réseau important de lignes à voie étroite sera construit dans les parties les plus pauvres de l'Espagne, en particulier dans le nord-ouest du pays.
Le réseau des lignes principales fut à peu près achevé dans les années 1870. Par voie de fusion et de rachats, quelques grandes compagnies émergent, comme la compañia de los Caminos de Hierros del Norte des frères Péreire, qui avait obtenue la concession de la ligne Madrid-Irun dès 1856, la Compañia de los ferrocarriles de Madrid a Zaragoza y Alicante (MZA) création espagnole des Rothschild (éternels concurrents des Péreire) qui s'implantera définitivement en Catalogne après fusion avec la Compañia de los Ferrocarriles de Tarragona a Barcelona y Francia (TBF) le 1er janvier 1898, ou encore la Compañia de los ferrocarriles Andaluces créee en mai 1877 par fusion des compañia del ferrocarril de Cordoba a malaga et compañia del ferrocarril de Sevilla a Jerez y Cadiz. La situation est plus confuse dans l'ouest du pays, où plusieurs sociétés coexistent en desservant des régions économiquement pauvres : Ferrocarril de Medina a Zamora y de Orense a Vigo (MZOV), Sociedad del ferrocarril de Madrid a Caceres y portugal (MCP), Compañia del Ferrocarril de Salamanca a la frontera Portuguesa (SFP), Compañia del ferrocarril de Medina del Campo a Salamanca, The West Galicia Railway Company Limited (WGR). En septembre 1928, toutes ces compagnies seront nationalisées pour intégrer la nouvelle Compañia nacional de los ferrocarriles del Oeste de España, ultime grand réseau apparu en Espagne. L'état, qui est amené à sauver de petites compagnies au bord de la faillite deuis la fin du XIXème siècle, intervient de plus en plus fréquement, surtout à partir des années 1920. Le 3 juillet 1926, un décrêt crée la Jefatura de Explotacion de ferrocarriles por el Estado ou EFE. Du fait du faible développement économique de l'Espagne (jusqu'à une période récente), le réseau ferroviaire espagnol n'a jamais atteint la densité qu'il connaît dans la plupart des pays européens. Ainsi, par exemple, alors que l'Espagne a une superficie 2,5 fois plus grande que celle de la Grande-Bretagne, son réseau ferroviaire compte 3 000 km de moins.
Pendant la Guerre civile espagnole dans les années 1930 le réseau ferroviaire fut gravement endommagé. Immédiatement après la guerre, le régime franquiste nationalisa le réseau à écartement large, et en 1941 la Renfe fut créée. Le réseau à voie étroite fut nationalisé à son tour dans les années 1950, donnant naissance plus tard aux Ferrocarriles de via estrecha (Feve).
Le rétablissement du système ferroviaire après la guerre demanda de nombreuses années. Il était courant dans les années 1950 de voir des trains intercity express tractés par des locomotives à vapeur centenaires sur des voies en piteux état. Malgré cela, des innovateurs comme Goicoechea ont su créer des trains modernes tels le Talgo. C'est seulement après la disparition du régime franquiste en 1975, et émergence de l'Espagne de son isolement international, que le réseau ferré espagnol commença vraiment à se moderniser et à rattrapper le reste de l'Europe.
Après la décentralisation intervenue en Espagne en 1978, les lignes à voie étroite qui étaient dans les limites des communautés autonomes d'Espagne furent détachées des Feve et placées sous la compétence des gouvernements régionaux, qui créèrent, entre autres, Eusko Trenbideak et les Ferrocarrils de la Generalitat de Catalunya. Les villes de Madrid (Métro de Madrid), Barcelone, Valence et Bilbao (Métro de Bilbao) disposent de services autonomes de métro.
Au cours des dernières années, les chemins de fer espagnols ont bénéficié d'importants investissements, en grande partie financés par des fonds européens. Plus récemment, une ligne à grande vitesse, à écartement normal, a été construite entre Madrid et Séville. En 2003 des services à grande vitesse ont été inaugurés sur la nouvelle ligne entre Madrid et Lérida, dont le prolongement vers Barcelone est programmé d'ici 2007 ainsi que le raccordement ultérieur, grâce à un tunnel international sous les Pyrénées, à Perpignan avec le réseau français des TGV. D'autres liaisons à grande vitesse sont en construction entre Madrid et Valladolid ainsi qu'entre Cordoue et Malaga. De nouveles lignes sont projetées vers Valence et Lisbonne.
Les chemins de fer espagnols ont été la cible d'attentats commis par ETA et par Al-Qaida, dont les attentats à Madrid du 11 mars 2004. Conséquence de la libéralisation du secteur des transports voulue par l'Union européenne, la Renfe est totalement réorganisée le 1er janvier 2005 sous le nom de Renfe Operadora et divisée en cinq directions générales : transports régionaux et de banlieue (Regionales y Cercanias), transports à grande vitesse, Marchandises, et maintenance intégrale des trains (MIT). De même, une administration des infrastructures ferroviaires (ADIF) est créée après fusion du GIF et de la Renfe.
Un tunnel reliant l'Espagne au Maroc et à l'Afrique du Nord sous le détroit de Gibraltar est à l'étude.