Les premiers projets datent de 1866, peu après l'arrivée du chemin de fer dans les hautes vallées vosgiennes, mais la guerre franco-allemande de 1870 puis l'annexion de l'Alsace-Lorraine empêchèrent toute évolution.
Charles Regnauld, sous-directeur des Chemins de Fer d'Alsace-Lorraine, a réalisé les plans et a dirigé les travaux du tunnel ferroviaire.
Le tunnel a été ouvert au trafic ferroviaire le 8 août 1937 pour permettre la liaison entre les gares de Lesseux-Frapelle, dans les Vosges, et de Sainte-Croix-aux-Mines, dans le Haut-Rhin. Son entrée vosgienne est située sur le territoire de la commune de Lusse. Bien que la liaison ferroviaire concernée ait été prévue à voie unique, le tunnel a été percé au gabarit "double voie", ce qui était fréquemment le cas dans les ouvrages de grande longueur pour en améliorer la ventilation. Cette caractéristique sera en outre extrèmement utile pour la transformation ultérieure de l'ouvrage en tunnel routier.
Inauguré en grande cérémonie par le président de la République Albert Lebrun, il donnait passage à la liaison ferrée Nancy - Saint-Dié - Sélestat - Colmar - Fribourg-en-Brisgau. Signalons la liaison par autorails rapides Colmar<->Nancy donnant la correspondance aux trains rapides Strasbourg<->Paris.
Entre mars et septembre 1944, dans le cadre de la réorganisation de l'industrie de guerre nazie par les SS, le tunnel abrita une usine de carter d'avion dont les ouvriers étaient des déportés. Un camp fut construit devant l'entrée Est du tunnel par les détenus eux-mêmes. Ce kommando, dépendant du camp de concentration du Struthof, fut évacué en septembre 1944 vers Dachau à cause de l'avancée des troupes américaines.
La ligne de chemin de fer fut fermée le 2 juin 1973 et le tunnel revendu aux collectivités territoriales, ce qui permit à la SNCF de réaliser une bonne opération financière.
Une association FERLOR, créée à Nancy, tenta de mobiliser les élus et les médias contre cette suppression de la liaison ferroviaire Nancy-Colmar. Malgré quelques échos favorables, dont un article dans Le Monde, elle ne put rien faire contre une décision inspirée par le député local, Maurice Lemaire, polytechnicien, ancien patron de la SNCF devenu apôtre du transport routier.
