Dès l'empire romain, il est fait mention d'une présence juive à Cologne. Elle est confirmée par un décret de 321 de l'empereur Constantin. Depuis cette période, les Juifs ont été à de nombreuses reprises acceptés puis chassés de la ville et leur synagogue construite pour être de nouveau détruite.
Ce n'est qu'à partir de 1798 que les citoyens juifs obtiennent de l'administration française de la ville la permission de s'établir de façon permanente. La première petite synagogue est construite en 1804 dans la Glockengasse sur des terrains sécularisés du couvent de l'ordre des Clarisses. Dès les années 1850, il apparaît que cette synagogue est trop petite pour la population juive grandissante de la ville et qu'une nouvelle synagogue plus importante doit être construite.
La communauté juive de Cologne réussit à conserver une unité en adoptant une position modérée entre judaïsme orthodoxe et judaïsme réformé. Jusqu'en 1857, la communauté de Cologne était régie par le consistoire de Bonn. En 1857, son premier rabbin est Israel Schwarz, suivi par Abraham Frank (1876-1917), Ludwig Rosenthal (rabbin assistant à partir de 1879) et Adolf Kober (1918-1938).
Le 30 juin 1857 la première pierre de la synagogue est posée sur le terrain de l'ancien couvent des Clarisses. Les plans ont été dessinés par l'architecte de cathédrale Ernst Friedrich Zwirner et la totalité des frais, soit 600 000 thalers, sont pris en charge par le banquier Abraham Freiherr von Oppenheim, fils du banquier Salomon Oppenheim. La synagogue est consacrée le 29 août 1861, mais un important incendie se déclare en 1867, et le bâtiment doit être partiellement reconstruit d'après les plans d'origine.
Lors de l'inauguration en 1861, de grandes festivités sont organisées auxquelles prennent part les représentants de la couronne, de la ville et des autres religions.
Lors de la nuit de Cristal du 9 au 10 novembre 1938, la synagogue est incendiée par les nazis. Le prêtre Gustav Meinertz (1873-1959) réussit, malgré le danger, à pénétrer dans la synagogue en flamme, et à sauver un rouleau de Torah. Après la guerre, ce rouleau a été restitué à la communauté juive, et est exposé dans une vitrine dans la synagogue de la Roonstrasse, reconstruite après la guerre.
Les fondations ainsi que le mikvé ont été préservés et se trouvent sous la Offenbachplatz. A l'emplacement de la synagogue détruite a été construit l'opéra de Cologne. Une plaque de bronze sur la façade latérale du bâtiment commémore la destruction de la synagogue.
Avant la guerre, la communauté juive de Cologne était la plus importante d'Allemagne derrière Berlin et comptait quelque 20 000 membres. Après la Shoah, il ne restait qu'une quarantaine de survivants. Actuellement la communauté compte environ 5 000 membres.