Cette gare située au bout du cours de la Marne a été construite en 1855 par la Compagnie du Midi en remplacement de la gare de Bordeaux Ségur. Le développement important des chemins de fer à la fin du XIXe siècle rendit nécessaire la construction d'une gare principale plus grande. Les travaux débutèrent en 1889. Le hall d'arrivée fut bâti en premier en 1893, puis ce fut le hall de départ en 1897. La totalité du complexe fut terminée en 1898. La gare Saint-Jean devint la gare principale de Bordeaux au dépens de la gare d'Orléans (Bordeaux-Bastide) sur la rive droite du fleuve. La fusion en 1934 entre la Compagnie du Midi et la Compagnie du Paris-Orléans sonna le glas définitif de cette dernière. Signalons aussi l'existence d'une autre gare située sur la rive droite en amont de celle de la Bastide : la gare de Bordeaux-Deschamps terminus des trains de la compagnie État. Car Bordeaux était desservi par 3 compagnies ferroviaires. Un grand remaniement des lignes sur la rive droite eut lieu en 1954.
La salle des départs est une immense salle du XIXe siècle construite sur deux niveaux et éclairée par une vaste verrière. Dans le hall de départ est peinte une vaste carte des lignes du réseau de la compagnie du Midi, de Bordeaux à Sète. Cette très belle carte a malheureusement été amputée à l'occasion des travaux de rénovation de la gare, dans les années 80, pour créer un passage entre deux espaces. La partie amputée correspond à l'essentiel du massif des Pyrénées et des lignes de montagne de l'ancien Midi (en particulier dans l'Ariège et l'Aude). La verrière surplombant les voies est l'œuvre de Gustave Eiffel, qui a également conduit en tant que maître d'oeuvre (et non concepteur) les travaux de construction du pont ferroviaire appelé passerelle Eiffel utilisé jusqu'en 2008 pour traverser la Garonne et qui permettait à la gare Saint-Jean d'être reliée à tout le réseau train au nord de la Garonne. Un nouvel ouvrage à 4 voies le remplace depuis cette date.
Les constructions métalliques sont l'œuvre de l'entreprise Daydé & Pillé.
La gare, ainsi que sa verrière métallique couvrant les voies, fait l'objet d'une inscription au titre des monuments historiques depuis le 12 décembre 1984.