L'exposition ne durant que six mois, le bâtiment devait originellement être démantelé. Cependant, et contre l'avis du parlement anglais, il fut déplacé. La structure de fonte, fer à remplissage de verre plus bois fut démontée et reconstruite avec ses modifications sur une propriété du nom de Penge Place au sommet de Sydenham Hill. L'édifice fut alors grandement agrandi, et moins de deux ans plus tard, la reine Victoria l'inaugura pour la seconde fois.
Deux trains furent créées pour l'occasion, afin de desservir l'exposition permanente. La station inférieure sert toujours aujourd'hui, il s'agit de la Crystal Palace railway station. Et une partie de la station supérieure, un métro qui donne accès à la promenade, est encore visible. Son toit est constitué de mosaïque italienne et c'est un bâtiment classé.
Un mythe, très populaire chez les écoliers du voisinage, laisse entendre que la station supérieure est fermée depuis qu'un train fut bloqué par l'effondrement d'un tunnel. En réalité, la fermeture est la conséquence programmée du déclin du trafic ferroviaire dans les années 1950.
La popularité du Crystal Palace commença à décroître lorsque l'argent des caisses ne suffit plus à payer la maintenance. Cela était principalement dû au fait qu'une grande partie de la population n'avait pas les moyens de se payer un ticket d'entrée. Une autre partie aurait volontiers visité le Palace, mais ne pouvait le faire puisque son seul jour de libre était le dimanche ; or le Palace était précisément fermé ce jour-là. Aucune protestation ne fit effet : la Lord's Day Observance Society, un groupe de pression qui protège le respect du dimanche comme jour du Seigneur soutint, tout comme elle, le fait encore aujourd'hui, que les gens ne devaient être encouragés à travailler ou même à utiliser des moyens de transports le dimanche ; et que si les gens voulaient vraiment visiter le Palace, alors leurs patrons devaient leur laisser un jour de libre en semaine. Bien sûr, ce ne fut jamais le cas. On organisa un festival au Palace lors de l'accession au trône de Georges V et de la reine Mary, mais à partir de là, les choses allèrent de mal en pis. Et deux ans plus tard, Robert George Windsor-Clive, 1st Earl of Plymouth acheta l'ensemble et en fit don à la nation afin de le sauver de la pression immobilière. Durant la Grande guerre, il servit de centre d'entraînement naval sous le nom de HMS Victory VI, aussi connu sous le nom de HMS Crystal Palace. À la fin des hostilités, il fut utilisé comme premier musée des guerres impériales. Sir Henry Buckland en devint le manager général, et les finances repartirent à la hausse. Beaucoup d'attractions furent remises en route, notamment les feux d'artifices du jeudi soir.
Des reproductions de dinosaures de taille réelle dessinés par Richard Owen, conçus et réalisés par Benjamin Waterhouse Hawkins faisaient partie des attractions. Ils étaient situés près des Lower lakes, à proximité de l'entrée Anerley. Ils sont toujours là aujourd'hui, bien que l'on sache désormais qu'ils sont anatomiquement inexacts. Un dîner pour vingt-quatre convives a pu être dressé sur l'une des statues d'Iguanodon pour la veille du nouvel an 1953. Les statues victoriennes ont été restaurées grâce à un budget de £4,000,000. Les résultats de ce travail ont été présentés au public par le duc d'Édimbourg en 2002. Les expositions comprenaient toutes les merveilles de l'ère victorienne, présentant la production de nombreux pays à travers le monde. Ils y avait poteries et porcelaines, ferronneries et meubles, marteaux à vapeur et presses hydrauliques, parfums et pianos, maisons et scaphandres, armes à feu et baromètres, fabriques de vêtements et feux d'artifices. La reine Victoria adorait l'endroit et disait le trouver « enchanteur ». La plupart des finales de la coupe de football anglaise, dans les premières années de la compétition, ont été disputées dans le parc du Crystal Palace. La dernière fut celle de 1914, année ou Georges V fut le premier roi à assister à une finale. Bien avant la création du Crystal Palace Football Club, une équipe portant le nom de Crystal Palace participait à la compétition. Les joueurs étaient tous employés de l'institution.