Quand dans les années 1860, il apparait clairement que la Vieille synagogue existante en bois est trop petite, le comité directeur de la communauté juive de Bydgoszcz prend la décision de construire une nouvelle synagogue plus importante en briques. En 1867, un terrain est acheté dans le centre de la ville, mais, pour des raisons financières, aucune décision n'est prise alors quant à la construction.
La construction de la nouvelle synagogue ne commencera que quinze ans plus tard. Un architecte de Gdańsk, Alfred Muttray, est retenu pour concevoir le bâtiment. Le 21 aout 1882, la première pierre est scellée. La construction durera deux ans et sera terminée en septembre 1884. En octobre, le premier office est célébré. La synagogue comporte 482 sièges pour les hommes au rez-de-chaussée de la salle de prière, et 400 sièges réservés pour les femmes dans les galeries.
En 1898, à l'initiative de Louis Aronsohn, est ouverte une école juive derrière la synagogue.
Peu de temps après le déclenchement de la Seconde Guerre mondiale, le 14 septembre 1939, le maire de Bydgoszcz, nommé par les nazis, lance un appel d'offre dans le journal Deutsche Rundschau (Panorama allemand), pour la démolition de la synagogue et des autres bâtiments appartenant à la communauté juive. Herbert Matthes, propriétaire d'une fabrique de meubles rue Garbary, remporte le marché.
Actuellement, le terrain qu'occupait la synagogue est vide. Quelques morceaux de décoration de la synagogue se trouvent dans le musée de Bydgoszcz.