Dans les premières années du XIXe siècle le palais devait devenir un collège de Jésuites, mais par un héritage complexe, il est finalement passé dans les mains de la famille Pindemonte-Giovanelli. En 1832, la famille a vendu l'ensemble du mobilier et des collections du palais. Seules les fresques sont restés in situ.
En 1837, Ca 'Rezzonico a été acquis par le comte de Ladislao Zelinsky, il laisse à son tour le palais à une succession de locataires aristocratiques. Dans les années 1880, il devient la maison du peintre Robert Browning Barrett, dont le père le poète Robert Browning, est mort dans son appartement à l'entresol, en 1889. A cette époque, le portraitiste John Singer Sargent a également occupé un studio dans le palais.
En 1906, Browning en ignorant une offre de l'empereur allemand Guillaume II a vendu le bâtiment au comte Lionello von Hierschel Minerbi. L'extravagant Minerbi (qui emplit le palais d'objets d'art, parfois un goût douteux) vivait luxueusement au palais jusqu'en 1935 quand, comme ses prédécesseurs de la famille Bon, l'argent lui a manqué.