Le Mont Saint-Étienne voit s'établir au cours du XVIIe siècle un ouvrage militaire dessiné par l'architecte Vauban en mars 1668. Ce sont néanmoins les Espagnols, de la famille royale des Habsbourgs d'Espagne, qui possèdent la Franche-Comté et Besançon depuis le mariage de la Duchesse Marie de Bourgogne avec l'Empereur d'Autriche, qui entreprennent, pendant 6 années, l'édification de l'ouvrage sous la direction d’Ambroise Precipiano. La province de Franche-Comté étant revenue en 1674 sous le giron de Louis XIV (par traité de Nimègue qui rattache en 1678 définitivement la Franche-Comté à la France), le roi décide de poursuivre et d'améliorer substantiellement la défense de la ville. Trente années de travaux et des fonds considérables seront nécessaires pour obtenir, en 1711, l'une des places fortes les plus puissantes de l'époque. La construction de cette place forte aura nécessité beaucoup d’argent, au point – dit-on – que le roi Louis XIV demanda à Vauban si l’enceinte de la citadelle était en or.
Quant au destin et aux rôles que la Citadelle tient dans les siècles suivants, elle sert assez peu pour résister à des sièges, mais reste toujours propriété de l’État, comme prison ou comme logement de troupes en garnison. Les progrès de l’artillerie rendent vite les fortifications insuffisantes. Elle s'utilise encore tout de même au XIXe siècle : contre les Autrichiens en 1814 et les Prussiens en 1871, subissant peu de dommages. Elle a également accueilli des prisonniers d’État tels que les complices de la Voisin – accusés dans des affaires d’empoisonnement qui marquèrent scandaleusement la cour du roi Soleil –, des déserteurs des armées de Louis XIV et de Louis XV, ainsi que des royalistes lors de la Révolution. Et il y a eu les prisonniers de guerre au cours du Premier Empire : Autrichiens, Anglais, Espagnols.
Lors de la Première Guerre mondiale, Besançon reste à l’arrière du front sans être touchée par les combats. La Citadelle sert donc surtout à des fins de logistique.
En revanche, pendant la Seconde Guerre mondiale, elle cède aux Allemands, en 1940. Pendant l’Occupation, de 1941 à 1944, la Citadelle sert aux exécutions. C’est pour cela que furent installés quatre poteaux, entre le puits et la chapelle Saint-Étienne. Une centaine de Résistants, condamnés à mort, ont été fusillés là, entre le 28 avril 1941 et le 18 août 1944. Parmi eux, on compte quatre-vingt-sept Français, cinq Espagnols, deux Italiens, un Luxembourgeois, un Suisse et un Polonais.
L'épisode le plus douloureux se déroule sans doute le dimanche 26 septembre 1943 car, parmi les seize fusillés du groupe de Résistants « Guy Mocquet », figure Henri Fertet qui n’avait que 17 ans ! Avant de mourir, il rédige une lettre poignante témoignant de son engagement, au-delà de sa vie.
Après de violents combats, les Américains reprennent la Citadelle en 1944 et l’utilisent pour enfermer les prisonniers de guerre Allemands. Après la Seconde Guerre mondiale, la Citadelle est un lieu de dépôt pour l’armée.
En 1958, la ville de Besançon, nouveau propriétaire du site, dédie la forteresse au tourisme, à la culture et à la mémoire. Ainsi, plusieurs espaces muséographiqes, tant à vocation historique que scientifique ont vu progressivement le jour. Un nombre de visiteurs annuel approchant 300 000 témoigne du succès de la reconversion de la forteresse qui combine intérêt géographique (avec notamment un magnifique panorama sur Besançon), intérêt historique, intérêt architectural et intérêt scientifique.