Même si on n'en a pas vraiment de preuves, on pense que Pistoia fut d'abord une colonie romaine fondée au II siècle av. J.-C. lors des guerres contre les Ligures, avant de devenir un oppidum. Certains vestiges montrent cependant une occupation antérieure des lieux, aussi bien par les Ligures que par les Étrusques.
En 62 av. J.-C., pendant la maladie du consul Antonius, collègue de Cicéron, Petreius Marcus marcha contre Catilina et écrasa son armée dans la terrible bataille de Pistoïa. Catilina et ses compagnons conspirateurs y furent tués.
À la fin du V siècle, sous domination byzantine, Pistoia avait son propre évêque, preuve du développement de la ville. Même chose plus tard quand la région fut conquise par les Lombards, qui installèrent aussi dans la ville un administrateur royal appelé gastaldo.
En 1254 Pistoia, ville gibeline, fut conquise par Florence guelfe, mais cela provoqua la division des Guelfes en factions noire et blanche. Pistoia resta sous contrôle florentin, sauf pendant une période brève au XIV siècle, quand Castruccio Castracani la conquit pour Lucques, et fut officiellement annexée par Florence en 1301. Le poète du XV siècle Antonio Cammelli est né à Pistoia, d'où son surnom il Pistoia.
Dans la Divine Comédie, Dante a mis dans son Enfer Vanni Fucci, personnalité célèbre de Pistoia à la fin du XIII siècle. Il le place dans le septième bolge du huitième cercle, là où se trouvent les voleurs d'objets sacrés tourmentés par des serpents. Vanni Fucci avait en effet dérobé des objets dans la sacristie de la cathédrale, laissant condamner un innocent à sa place. De plus, il faisait partie des Guelfes noirs, tandis que Dante appartenait à la faction des blancs, une raison de plus pour l'envoyer en enfer.
Du 18 au 28 septembre 1786, se tint à Pistoia un synode janséniste rassemblé par Scipione de' Ricci, évêque de la ville, avec l'approbation de Léopold I, grand-duc de Toscane et l'un des chefs du joséphisme. Ce synode fut suivi d'un concile tenu à Florence en 1787. Les décisions du synode et du concile furent condamnées par le pape Pie VI dans sa bulle Auctorem fidei du 28 août 1794.
