À l'époque de l'industrialisation, les fortifications n'étaient vues que comme des obstacles gênants. En 1808, le deuxième Holstentor extérieur, en 1828 le Holstentor intérieur, et en 1853 le Holstentor intermédiaire furent démolis. Il ne s'agissait alors plus que d'une question de temps, avant que le Holstentor intermédiaire, la seule des quatre portes restante, ne soit détruit. De fait, en 1855 une pétition des citoyens de Lübeck fut présentée devant le Sénat afin de se débarrasser finalement de la porte restante, car une extension des installations ferroviaires était envisagée. 683 signatures soutenaient cette pétition. Mais il y avait également à cette époque des citoyens opposés à la destruction du vieux bâtiment.
La querelle au sujet de la démolition a traîné en longueur. Ce n'est qu'en 1863 que l'on parvint à la décision, avec seulement une voix de plus que la majorité au conseil municipal de Lübeck, de ne pas détruire le bâtiment et, au contraire, de le restaurer complètement.
Entre temps, la porte était tombée dans un très mauvais état, car elle s'enfonçait chaque année de quelques centimètres dans le sol. Les meurtrières les plus basses s'étaient retrouvées 50 centimètres au-dessous du niveau du sol, et l'inclinaison de la porte en entier prenait une ampleur dangereuse. La statique du bâtiment s'était transformée de manière spectaculaire, de sorte que l'on craignait un effondrement. Le Holstentor fut restauré de fond en comble jusqu'en 1871.
À ce moment, la relation des habitants de Lübeck avec le Holstentor changea. Il ne fut plus jamais tenu pour une ruine gênante, mais pour l'emblème d'un fier passé. En 1925, le Deutscher Städtetag (Conseil de Villes allemand) fait du Holstentor son emblème. Déjà en 1901, le producteur de massepain Niederegger avait mis le Holstentor sur le sigle de son entreprise. D'autres firmes de Lübeck l'adoptèrent également.
Comme l'inclinaison des tours progressait et qu'un effondrement n'était toujours pas à écarter, une deuxième restauration fut nécessaire. Elle survint dans les années 1933-1934, au terme de laquelle le Holstentor fut consolidé d'une manière telle qu'il pouvait enfin tenir sans risque. Au cours de cette restauration, des ancres en béton armé entourées d'anneaux de bronze furent enfoncées pour garantir la sûreté des tours. Mais des transformations ont également été entreprises, entre autres le regroupement des étages de la tour nord déjà mentionné, et ne correspondent pas au caractère d'origine de la porte. Les Nazis firent du Holstentor un musée, qu'ils le nommèrent Ruhmes- und Ehrenhalle ("Galerie de l'Honneur et de la Gloire"), pour présenter une histoire falsifiée de Lübeck et de l'Allemagne.
Le Holstentor a été de nouveau restauré en 2005-2006.