Charfi met alors en chantier une réforme qui établit une nette séparation entre l'enseignement religieux et l'instruction civique et qui ouvre les écoles et lycées à la pensée contemporaine et au regard critique, tout cela en tentant de garder sa liberté de jugement illustrée notamment par son refus de traduire l'universitaire Larbi Chouikha en conseil de discipline pour avoir cosigné un article critique dans Le Monde diplomatique. Pourtant, ses rapports avec le ministre de l'Intérieur Abdallah Kallel se détériorent. Le 30 mai 1994, le président met fin à ses fonctions à l'occasion d'un remaniement ministériel et le remplace par le député Ahmed Friaâ. Certaines sources affirment qu'il avait démissionné pour marquer son désaccord avec le durcissement du régime.
Le 20 mars 2001, il rend public un « Manifeste de la République », signé par une centaine de personnalités de la société civile, mettant en garde contre la réforme constitutionnelle qui prolongerait la durée des mandats présidentiels. En 2004, il soutient la candidature de Mohamed Ali Halouani à l'élection présidentielle.