La communauté juive de Berlin va profiter de la commémoration du cinquantième anniversaire de la Nuit de Cristal pour lancer le "Centrum Judaicum – la Neue Synagogue de Berlin". Le 10 novembre 1988, se déroule la pose de la première pierre symbolique pour la reconstruction sur les ruines du passé. Différents projets ont été longuement débattus. L'idée d'une reconstruction complète à l'identique est écartée comme tentative d'effacer les malheurs du passé et peut-être de l'oublier aussi. L'ensemble doit redevenir le centre de la vie juive de Berlin, tout en incorporant un mémorial afin de perpétuer le souvenir du passé et la mémoire des disparus.
Le but recherché est de rendre simultanément visible l'architecture magnifique d'autrefois et la destruction violente du temple. La façade très représentative sur la rue Oranienburger avec la coupole principale dorée est reconstruite à l'original. Une exposition permanente informe de la vie juive à Berlin. Son nom "Ouvre moi grand les portes" est repris d'une citation de Isaiah inscrite en hébreu à l'entrée de la synagogue. Certains fragments architecturaux et des parties redécouvertes de l'ancien aménagement intérieur sont aussi présentés. À l'arrière du bâtiment, dans l'espace non reconstruit des pierres délimitent les contours de l'ancienne synagogue. Les travaux de reconstruction sont terminés en 1993 et le bâtiment livré à la communauté le 16 décembre 1994. L'ensemble n'est pas consacré uniquement à la synagogue, mais en plus de l'espace de prière relativement réduit, il comprend différentes installations de la communauté, un foyer socio-éducatif, ainsi que des restaurants et des cafés casher et une galerie d'art.
Les antisémites considèrent cette nouvelle synagogue avec sa coupole dorée comme de la provocation. Mais même à l'intérieur de la communauté juive, elle provoque de nombreuses dissensions. Les libéraux soutiennent que ce bâtiment au style maure inaccoutumé, risque de souligner l'étrangeté de la religion juive et être ainsi un frein au processus d'intégration désiré. Les juifs conservateurs émettent de sérieuses réserves en ce qui concerne les différentes innovations liturgiques lors de l'office et contestent l'ornementation intérieure de la synagogue. Le conseil de la communauté appelle un rabbin réformateur Josef Aub et celui-ci dirige l'office suivant un nouveau rite. Les conservateurs contestent en particulier l'utilisation de l'orgue, installé en 1868, pendant l'office. Dans le bâtiment récemment construit, les conservateurs voient un "beau théâtre, mais nullement une synagogue..". En 1869, les membres conservateurs créèrent Adass Jisroel et quittèrent en 1872 la communauté.
En 1885, la nouvelle synagogue devint officiellement la synagogue de la communauté juive de Berlin.
Dans l'ensemble, la majorité des juifs considère ce bâtiment avec fierté et satisfaction comme le symbole de l'importance et de la conscience de la communauté juive de Berlin. La maison de Dieu juive, la plus grande, la plus chère et la plus magnifique d'Allemagne est aussi un exemple pour l'emploi des techniques modernes de construction et devient un monument respecté.
Pendant les pogroms de la nuit de cristal (Reichskristallnacht) du 9 au 10 novembre 1938, les SA (Sections d'Assauts) du parti nazi commencent à mettre le feu à la synagogue. L'officier de police de la brigade 16, Wilhelm Krützfeld s'oppose aux incendiaires et appelle les pompiers qui réussissent à éteindre le début d'incendie, préservant ainsi la synagogue de la destruction. Krutzfeld qui a réagi courageusement; fut par la suite sujet à de nombreuses brimades. Une plaque commémorative rappelle cette intervention extraordinairement courageuse compte tenu de la situation politique de cette époque.
Épargnée par le feu, la synagogue est de nouveau utilisée pour les offices à partir d'avril 1939. La coupole est recouverte de peinture de camouflage en raison des menaces d'attaques aériennes. Le dernier office est célébré le 30 mars 1940, date à laquelle l'armée la confisque pour l'utiliser comme dépôt de matériel.
Dans la nuit du 23 novembre 1943, lors d'une attaque aérienne de la Royal Air Force, la synagogue est atteinte et lourdement endommagée. Après la fin de la guerre, quelques juifs survivants de la ville fondent une nouvelle communauté juive et établissent son siège dans l'ancien bâtiment administratif de la synagogue encore intact. Il s'agit avant tout de créer les conditions d'un renouveau de la vie juive à Berlin et de préparer aussi l'émigration principalement vers Israël ou les États-Unis de ceux qui ne veulent pas rester.
Situées dans la partie est de Berlin, sous domination soviétique, les parties endommagées du bâtiment sont complètement éliminées durant l'été 1958. Seule subsiste la partie du bâtiment donnant sur la rue Oranienburger.