Jusqu'à la fin de sa vie, il participe à des conférences sur l'avenir de la société musulmane, le fossé entre l'Orient et l'Occident, les moyens de réconcilier le musulman avec l'histoire de sa religion, etc. Ses publications concernent des sujets comme la loi, la réforme de l'éducation, l'influence de la religion sur le droit international, etc. Démocrate sans parti politique, il évoque l'actualité politique internationale dans des chroniques sur Médi 1. Il est aussi appelé par le secrétaire général des Nations unies Kofi Annan, en 2005, à siéger au sein de la commission de haut niveau des Nations unies pour le dialogue des civilisations, qui donnera lieu à la création de l'Alliance des Civilisations.
Dans son livre paru en 1999, Islam et Liberté, le malentendu historique, œuvre majeure de sa vie, il s'inscrit dans la tradition du réformisme musulman et tunisien, dans un essai, qu'il articule autour de quatre grandes problématiques que sont l'intégrisme, le droit, l'État et l'éducation. Dénonçant l'extrémisme religieux et la vision de la charia comme œuvre divine, il présente un point de vue libéral sur l'islam réconcilié avec les concepts du droit et de l'État. Il y écrit ainsi que « l'islam est d'abord une religion, non une politique, une question de conscience et non d'appartenance, un acte de foi et non de force ». Dans ce contexte, la laïcité « à la française » n'est pas adaptée pour lui en raison de l'absence de clergé sunnite et du rôle de l'État dans l'entretien des mosquées. Il dessine alors la nécessité de séparer fonction politique et religieuse au sein de l'État dans le but de voir émerger la liberté et la démocratie. Il invite ainsi à revisiter les idées des mutazilistes, d'Averroès et des rationalistes pour permettre aux musulmans de concilier islam, modernité et liberté.
Marié à Faouzia Rekik, une physicienne, et père de trois filles, Mohamed Charfi meurt d'un cancer le 6 juin 2008. Il se voit inhumé le lendemain au cimetière du Djellaz à Tunis en présence des principaux dirigeants de l'opposition et du ministre de l'Enseignement supérieur Lazhar Bououni.