Antoine Arnauld, chef de file des jansénistes depuis la mort de Jean Duvergier de Hauranne, était en désaccord avec la Sorbonne au sujet d’une bulle d’Innocent X (mai 1653). Cherchant à défendre l’un de ses amis, le marquis de Liancourt, il s’attira les foudres de la Sorbonne. Les jansénistes cherchèrent un défenseur en la personne de Pascal.
Pascal accepta, assurant qu’il savait (selon Sainte-Beuve) « comment on pourrait faire ce factum », mais qu’il ne pouvait promettre qu’« une ébauche » que d’autres se chargeraient de « polir ». Pascal commença à publier les lettres à partir du 23 janvier 1656 sous le pseudonyme de Louis de Montalte. Pascal lança une attaque mémorable contre la casuistique, une méthode morale populaire chez les penseurs catholiques, particulièrement les jésuites. Pascal dénonça la casuistique comme l’utilisation d’un raisonnement complexe pour justifier une morale laxiste. Sa méthode pour argumenter fut subtile : les Provinciales prétendaient être les Lettres écrites par Louis de Montalte à un provincial de ses amis et aux R.R.P.P. Jésuites sur le sujet de la morale et de la politique de ces pères. Il s’adresse à un ami qui vit en province à propos des discussions sur la morale et la théologie qui excitaient les cercles intellectuels et religieux de la capitale, particulièrement la Sorbonne. Pascal allia la ferveur d’un nouveau converti et l’esprit brillant d’un homme du monde, avec un style de la prose française inconnu jusque là. À côté de leur influence religieuse, les Provinciales ont été une œuvre littéraire populaire. Pascal se servit de l’humour, de la moquerie et de la satire méchante dans ses arguments, pour permettre une utilisation publique des lettres qui influenceront plus tard des écrivains français comme Voltaire, Jean-Jacques Rousseau, et surtout le Montesquieu des Lettres persanes.
Les premières lettres défendent la position des jansénistes contre leurs adversaires jésuites ou dominicains (Thomistes), sur les questions du pouvoir prochain (Lettre I), de la grâce efficace ou suffisante (Lettre II), de la possibilité que la grâce puisse manquer à un juste (Lettre III). À partir de la quatrième lettre, Pascal passe à l'offensive. Ses attaques contre les autorités prennent, selon Jean Lacouture, un ton polémique tel que « Voltaire lui-même n’a jamais peut-être atteint à cette fulgurance » : il nomma personnellement et par écrit un grand nombre de personnalités. Les dernières lettres montrent Pascal davantage sur la défensive – les pressions sur les jansénistes de Port-Royal pour qu’ils renoncent à leur enseignement sont croissantes pendant ce temps – et contiennent l’attaque contre la casuistique. La Lettre XIV présente une seule excuse : « Je voudrais avoir écrit une lettre plus courte, mais je n’en ai pas le temps. »
La série de dix-huit lettres, publiées entre 1656 et 1657 par Pierre Le Petit, choque Louis XIV, qui a commandé en 1660 que le livre soit déchiqueté et brûlé. En 1661, l’école janséniste de Port-Royal était condamnée à son tour et fermée, ceci aboutissant à la signature d’une bulle papale condamnant l’enseignement des jansénistes comme hérétiques. La dernière lettre défiait le pape lui-même, provoquant Alexandre VII à condamner les lettres le 6 septembre 1657. Mais ceci n’empêcha pas la France cultivée de les lire.
Le pape Alexandre VII, alors qu’il s’opposait publiquement à elles, était convaincu par les arguments de Pascal. Il ordonna une révision des textes casuistiques juste quelques années après, en 1665 et 1666. Le pape Innocent XI condamna le « laxisme » dans l’Église en 1679.
Les Provinciales ont été largement diffusées dès leur parution, à plus d’une dizaine de milliers d’exemplaires.
Voltaire les a jugées « le meilleur livre qui ait jamais paru en France », et quand on a demandé à Jacques Bénigne Bossuet quel livre il aurait aimé écrire, il a répondu, les Provinciales de Pascal.
Jean Lacouture (Jésuites) cite d’autres appréciations, celles d’Henri Gouhier et de François Mauriac.
Au sujet de l’impact qu’eurent les Provinciales dans leur contexte historique, Jean Lacouture cite l’historien Marc Fumaroli (voir Révolution copernicienne: l’image de l’Église ternie pendant les Lumières).