La synagogue est composée de trois parties, le bâtiment central avec des éléments inspirés des styles mauresque, égyptien et arabe, abritant le lieu de prière et deux bâtiments latéraux relativement étroits, de forme rectangulaire et de style plus classique, séparés du bâtiment central par des cours intérieures et servant aux besoins de la communauté. L'ensemble forme un mélange harmonieux de classicisme historique dominant au milieu du XIXe siècle à Vienne, et d'historicisme romantique. Le bâtiment central possède une façade en trois parties avec la partie centrale plus élevée. Cette architecture que l'on retrouve dans plusieurs autres synagogues construites par Förster ou influencées par lui, est censée s'inspirer du Temple de Jérusalem.
Förster accentue le style oriental en ajoutant un certain nombre de tours élancées, sur la façade ainsi que sur les côtés du bâtiment, séparées par une corniche avec des créneaux orientaux. Des ouvertures semblables aux médaillons de style islamique, remplacent la traditionnelle rosace que l'on trouve dans les églises. La façade est décorée de briques en terre cuite de couleur rouge et jaune. À l'intérieur, de nombreuses arches lobées et des motifs polychromatiques amplifient l'aspect oriental.
Pour accéder à la grande salle de prière de 2 240 places assises et 1 500 places debout, la plus importante de Vienne, on passe tout d'abord sous un porche élevé puis par un vestibule. La salle de prière comprend une nef centrale et deux nefs latérales ou bas-côtés, surmontées des galeries pour les femmes, séparées de la nef centrale par de hauts arcs en plein cintre. La décoration intérieure très élaborée se compose de carreaux de stuc, de mosaïques, de maçonneries et de magnifiques fenêtres à vitraux.
Le bâtiment côté nord contient le mikvé (bain rituel), un local de réunion et quelques logements, tandis que celui côté sud se compose de plusieurs appartements réservés au personnel communautaire.