Seules les deux tours résistèrent à l’incendie, mais elles furent démantelées lors de la Seconde Guerre mondiale. Il semblerait que la Luftwaffe aurait pu s’en servir comme élément de repère dans sa route vers Londres. La tour nord fut dynamitée tandis que la tour sud fut démontée brique par brique car trop proche des bâtiments voisins pour un dynamitage.
Après la guerre, le site eut des utilisations très diverses. Entre 1953 et 1973, un circuit de course de voitures y était installé et plusieurs courses y eurent lieu soutenues par le Greater London Council.
La fondation Crystal Palace fut créée en 1979 pour défendre la mémoire et le respect de ce lieu, symbole d’une période épique de l’histoire anglaise. Son futur est débattu, différents plans ont été soutenus mais aucun n’a, à ce jour, été développé.
Le parc abrite aujourd’hui le « Crystal Palace National Sports Centre ».
Le Crystal Palace a inspiré bien d’autres palais d’expositions de par le monde :
Le 30 novembre 1936, survint le coup de grâce. En quelques heures, le Palace est à la merci des flammes. Tout est détruit, l'incendie est visible depuis des kilomètres et des milliers de personnes témoigneront de la lueur des flammes dans le ciel cette nuit-là. Tout comme en 1866, quand un incendie détruisit le transept nord, le bâtiment n'était pas correctement assuré pour couvrir l'ensemble des destructions. Winston Churchill, de retour de la Chambre des communes, dit alors: « This is the end of an age » (c'est la fin d'une époque). La tour sud était alors utilisée par John Logie Baird, pionnier dans le développement de la télévision, comme lieu d'expérimentation. Malheureusement, beaucoup de ses éléments de travail furent détruits par l'incendie.
Le palais fit forte impression sur les visiteurs venus de toute l'Europe, au nombre desquels beaucoup d'écrivains. Très vite, il est devenu un symbole de la modernité, acclamé par certains et décrié par d'autres.