La renommée du Palais du Te ne tint qu'un siècle. En 1630, pendant la guerre de succession de Mantoue et la conquête du duché, la cité et le Palais furent pillés par les troupes impériales de Ferdinand II. Le reste de la population fut victime d'une des pires épidémies de peste de l'histoire. Le palais, mis à sac de fond en comble, est resté comme une coquille vide et, dans cet état, les remarquables fresques sont d'autant plus surprenantes que les Nymphes, les Dieux, les Déesses et les Géants peuplent des murs de salles vides et résonnantes.
Le Museo Civico (Musée civique) qui expose une collection d'art mésopotamien parrainée par l'éditeur Arnoldo Mondadori, est hébergé aujourd'hui dans une partie du Palais.
La Salle des Fruitières est aussi réservée à des expositions temporaires de peinture, le plus souvent de la Renaissance.