Au cours du temps, la synagogue séduit un public plus large qu'uniquement les Juifs roumano-américains. Cependant, le nombre de membres décline durant la seconde moitié du XXe siècle en raison de la mobilité sociale de la population juive qui quitte le Lower East Side pour s'installer dans le nord de Manhattan, à Brooklyn et dans le Bronx. La Première synagogue roumano-américaine est particulièrement affectée: car, en tant que communauté orthodoxe, ses membres doivent impérativement habiter à proximité de la synagogue afin de pouvoir assister aux offices du chabbat.
En 1980, la Première synagogue roumano-américaine est une des rares synagogues du Lower East Side à avoir encore un Talmud Torah. Cette école est située dans un petit bâtiment sur le côté est de la synagogue, qui était au préalable le presbytère de l'église. La communauté sera obligée de vendre ce petit bâtiment, mais le nouveau propriétaire gardera l'indication gravée de l'école.
Le rabbin Mordecai Mayer, qui a dirigé la communauté pendant vingt ans, meurt en 1981, deux jours avant son 66ème anniversaire. Né à Chortkov (alors en Pologne), il est diplômé de la yechiva Chachmei de Lublin, et a émigré aux États-Unis en 1936. Pendant quarante ans, il dirige des programmes sur des sujets juifs à la radio WEVD, alors propriété du The Forward, un journal juif américain. Dans les années 1970, il écrit des éditoriaux dans l'hebdomadaire en langue yiddish Algemeiner Journal, et est l'auteur des livres en anglais: Israel's Wisdom in Modern Life (La sagesse d'Israël dans la vie moderne) (1949) et Seeing Through Believing (Voir à travers la croyance) (1973). Jacob Spiegel lui succède comme rabbin de la synagogue.
Au début des années 1990, la communauté est encore assurée de pouvoir réunir le quorum de dix hommes pour le miniane pendant la semaine, car les commerçants locaux assistent aux prières de Chaharit (le matin) et de Ma'ariv ou Arvit (le soir) avant et après la fermeture de leur boutique. En 1996, cependant, le nombre de fidèles n'est plus que de deux douzaines, et Spiegel commence à officier dans une petite pièce de réception au sous-sol, car le sanctuaire principal est devenu trop coûteux à entretenir.
Avec la diminution du nombre de fidèles, le bâtiment se détériore. En 1997, la synagogue reçoit une subvention du New York Landmarks Conservancy pour les réparations et la conservation de la structure, et l'année suivante, la somme de 4 000 dollars du programme de préservation des sites religieux du Landmarks Conservancy pour la réparation des fermes du toit. La même année la synagogue est inscrite sur la liste du National Register of Historic Places au niveau local. Dans le courant de l'automne de la même année, le spectacle laser Between Dreams and History (Entre rêves et histoire) de Shimon Attie est projetée sur la façade de la synagogue et des bâtiments voisins pendant trois semaines.
Spiegel décède en 2001 d'une crise cardiaque, laissant la responsabilité de la synagogue au plus jeune de ses trois fils, le rabbin Shmuel Spiegel. Ses autres fils, les rabbins Gershon Spiegel et Ari Spiegel, sont respectivement président de la synagogue et rabbin assistant. En juin 2003, le nom Rabbi Yaakov Spiegel Way est donné simultanément à l'intersection entre Rivington Street et Ludlow Street, près de la synagogue et à la portion de Rivington en face de la synagogue.
Le toit est en très mauvais état depuis bien avant le décès de Jacob Spiegel, et menace de s'effondrer en 2001. Shmuel Spiegel réussit, en décembre 2001, à lever la somme de 25 000 dollars pour des réparations urgentes. Mais malgré le Tcholent (traditionnel repas du chabbat) offert après le kiddouch du samedi matin, Spiegel a d'énormes difficultés pour réunir les dix hommes pour former un miniane. En 2004, le nombre de membres réguliers tourne autour de quarante. Spiegel continue à administrer la synagogue pour un coût annuel de 75 000 dollars.