Le stade olympique est conçu en 1979 et construit entre 1980 et 1982. Terminé dans les temps pour accueillir les championnats d'Europe d'athlétisme 1982, il est inauguré par le président grec Konstantinos Karamanlis le 8 septembre 1982.
Il accueille par la suite plusieurs événements, tel les jeux méditerranéens de 1991 et les championnats du monde d'athlétisme 1997, montrant qu'il est capable d'accueillir des événements sportifs majeurs malgré la défaite de la Grèce dans sa candidature pour l'organisation des Jeux olympiques d'été de 1996.
Pour les Jeux olympiques d'été de 2004, le stade est complètement rénové. On lui ajoute un toit conçu par Santiago Calatrava, décision ce qui est controversée. Le toit est terminé juste avant l'ouverture des jeux, et le stade est officiellement rouvert le 30 juillet 2004.
Ce stade a accueilli plusieurs finales de coupe d'Europe :
Le stade olympique a également été utilisé par le passé par les trois principaux clubs d'Athènes : l'Olympiakos Le Pirée, le Panathinaikos et le AEK Athènes FC. Panathinaikos a notamment employé le stade régulièrement depuis 2005 pour ses matches. Le stade est encore utilisé pour accueillir les matchs européens des clubs athéniens.
Le record d'affluence du stade olympique se monte à 74 473 spectateurs.
Pendant les Jeux olympiques de 2004, il est configuré pour 72 000 places, bien que seulement 56 700 sièges aient été rendus publiquement disponibles pour les événements de d'athlétisme et pour la finale de football.