Bien que la plupart des implémentations de PPM travaillent sur des octets, pouvant ainsi traiter n'importe quel type de fichier sans adaptation particulière, certaines variantes utilisent d'autres types de symboles. Une variante spécialisée sur le texte consiste à utiliser des mots comme symboles, plutôt que des caractères.
Une approche similaire est utilisée par les algorithmes de modélisation de Markov dynamique.
Afin d'obtenir des prédictions plus fiables, certains algorithmes combinent plusieurs modèles statistiques.