La porte Horloge était la principale porte d'entrée de la cité au Moyen Âge, lorsque celle-ci était fortifiée. L'actuelle capitale du Bocage virois devint, après les invasions normandes, une importante place de guerre des ducs de Normandie. La fortification de Vire fut renforcée sous Guillaume I le Conquérant. Un château à double enceinte et donjon, dont seules les ruines du donjon subsistent, fut construit par Henri I Beauclerc.
À l'origine, il ne s'agit que d'une simple porte du nom de « Porte Gastinel ». Elle fut construite au XIII siècle. Elle est flanquée de deux tours, réunies par une voûte, au-dessous de laquelle passait avant la Reconstruction la rue Saulnerie (cette rue passe aujourd'hui de part et d'autre et son porche n'est plus que piétonnier). Elle fut surmontée d'un beffroi, très original avec son clocheton, au XV siècle, afin de servir de tour de guet et de recevoir une horloge publique. Ce beffroi est rajouté sous l'impulsion des bourgeois de la ville pour symboliser la force et l'indépendance de Vire et l'horloge et une cloche sont installées en 1499. Le beffroi porte la hauteur de l'édifice à 33 mètres. Au sommet, la vue panoramique sur le bocage virois permettait de surveiller les approches de la ville et de prévenir toute attaque. Sur le beffroi se trouve une statue de la Vierge portant cette inscription : « Marie protège la ville ».
Si Vire a beaucoup souffert de la Seconde Guerre mondiale, ce témoignage de son passé a échappé aux destructions massives - la ville fut détruite à 95% - causées par les bombardements de juin 1944, qui ont ravagé la Normandie après le débarquement des Alliés sur ses plages.