Propriété de Markov - Définition
La liste des auteurs de cet article est disponible ici.
Introduction
En probabilité, un processus stochastique vérifie la propriété de Markov si et seulement si la distribution conditionnelle de probabilité des états futurs, étant donné les états passés et l'état présent, ne dépend en fait que de l'état présent et non pas des états passés (absence de « mémoire »). Un processus qui possède cette propriété est appelé processus de Markov. Pour de tels processus, la meilleure prévision qu'on puisse faire du futur, connaissant le passé et le présent, est identique à la meilleure prévision qu'on puisse faire du futur, connaissant uniquement le présent : si on connait le présent, la connaissance du passé n'apporte pas d'information supplémentaire utile pour la prédiction du futur.
Propriété de Markov faible (temps discret, espace discret)
Définition
C'est la propriété caractéristique d'une chaîne de Markov : en gros, la prédiction du futur à partir du présent n'est pas rendue plus précise par des éléments d'information supplémentaires concernant le passé, car toute l'information utile pour la prédiction du futur est contenue dans l'état présent du processus. La propriété de Markov faible possède plusieurs formes équivalentes qui reviennent toutes à constater que la loi conditionnelle de 
sachant le passé, i.e. sachant 
est une fonction de 
seul :
Propriété de Markov faible « élémentaire » — Pour tout 
pour toute suite d'états 
On suppose le plus souvent les chaînes de Markov homogènes, i.e. on suppose que le mécanisme de transition ne change pas au cours du temps. La propriété de Markov faible prend alors la forme suivante :
Cette forme de la propriété de Markov faible est plus forte que la forme précédente, et entraîne en particulier que
Dans la suite de l'article on ne considèrera que des chaînes de Markov homogènes. Pour une application intéressante des chaînes de Markov non homogènes à l'optimisation combinatoire, voir l'article Recuit simulé.
La propriété de Markov faible pour les chaînes de Markov homogènes a une autre forme, beaucoup plus générale que la précédente, mais pourtant équivalente à la précédente :
Propriété de Markov faible « générale » — Pour n'importe quel choix de 
Notons que les évènements passés 
et futurs 
prennent ici la forme la plus générale possible, alors que l'évènement présent 
reste sous une forme particulière, et pas par hasard : si on remplace par 
dans l'énoncé ci-dessus, alors l'énoncé devient faux en général, car l'information sur le passé devient utile pour prévoir le présent (où peut-il bien se trouver, plus précisément, à l'intérieur de la partie 
?), et, partant de là, pour prévoir le futur.
: Si 
et 
on parle de marche aléatoire sur 
Supposons que ![\scriptstyle\ p\in]0,1[.\](https://static.techno-science.net/illustration/Definitions/autres/c/c287d015f4d34a5c5b9106375fc9caaf_edb51b540783c4a76899d62cd69051f2.png){kind=small}
Alors, par exemple,
alors qu'on peut facilement trouver 
et 
tels que
Ainsi, du fait d'une connaissance imprécise (
) du présent, certaines informations concernant le passé permettent d'améliorer le pronostic : sachant que Xn-1 = 0, on en déduit que Xn n'est pas nul, donc que Xn est égal à 1, puis on conclut que Xn+1 ne peut être égal à 1. Par contre, sans l'information Xn-1 = 0, on ne peut exclure que Xn+1 soit égal à 1.
Pourtant, la marche aléatoire sur est une chaîne de Markov, et possède bien la propriété de Markov. Il n'y a pas de contradiction, ici : la propriété de Markov stipule que, lorsque l'on a une connaissance précise (Xn = i ) du présent, aucune information concernant le passé ne permet d'améliorer le pronostic.
Il existe une , liée à la notion de temps d'arrêt : cette propriété de Markov forte est cruciale pour la démonstration de résultats importants (divers critères de récurrence, loi forte des grands nombres pour les chaînes de Markov).
Indépendance conditionnelle
La propriété de Markov faible « générale » entraine que
Indépendance conditionnelle — Pour n'importe quel choix de
Cette égalité exprime l'indépendance conditionnelle entre le passé et le futur, sachant le présent (sachant que 
). Cependant, si l'on compare avec la propriété de Markov faible « générale » telle qu'énoncée plus haut, on constate qu'on a perdu la propriété d'homogénéité : la propriété de Markov faible « générale » est en fait équivalente à la propriété plus forte
Indépendance conditionnelle et homogénéité — Pour n'importe quel choix de
Critère
Critère fondamental — Soit une suite 
de variables aléatoires indépendantes et de même loi, à valeurs dans un espace 
, et soit 
une application mesurable de 
dans 
Supposons que la suite 
est définie par la relation de récurrence :
et supposons que la suite 
est indépendante de 
Alors 
est une chaîne de Markov homogène.
Petit Pierre fait la collection des portraits des onze joueurs de l'équipe nationale de football, qu'il trouve sur des vignettes à l'intérieur de l'emballage des tablettes de chocolat Cémoi ; chaque fois qu'il achète une tablette il a une chance sur 11 de tomber sur le portrait du joueur n°
(pour tout ). On note ![\scriptstyle\ X_{n}\in\mathcal{P}([\![ 1,11]\!])\](https://static.techno-science.net/illustration/Definitions/autres/a/a724e9ac3370b700a53a33ea3da4024f_c5fc75e6f800b3960e6d04010d5167aa.png){kind=small}
l'état de la collection de Petit Pierre, après avoir ouvert l'emballage de sa -ème tablette de chocolat. est une chaîne de Markov partant de 
, car elle rentre dans le cadre précédent pour le choix ![\scriptstyle\ F=[\![1,11]\!],\ E=\mathcal{P}(F),\ f(x,y)=x\cup\{y\},\](https://static.techno-science.net/illustration/Definitions/autres/3/372498e85e6edf20771a7d7b8b861881_1c12d5c29698fb07cf9343eb733131fb.png){kind=small}
puisque
où les variables aléatoires 
sont des variables aléatoires indépendantes et uniformes sur ![\scriptstyle\ [\![1,11]\!]\](https://static.techno-science.net/illustration/Definitions/autres/e/e76ea9e4de780d45f1e611b71c61ffb5_544a2def4e5601588348cdefb4b3b19f.png){kind=small}
: ce sont les numéros successifs des vignettes tirées des tablettes de chocolat. Le temps moyen nécessaire pour compléter la collection (ici le nombre de tablettes que Petit Pierre doit acheter en moyenne pour compléter sa collec') est, pour une collection de 
vignettes au total, de 
où 
est le -ème nombre harmonique. Par exemple, 
tablettes de chocolat.
- La propriété de Markov découle de l'indépendance des
elle reste vraie lorsque les 
ont des lois différentes, et lorsque la « relation de récurrence » 
dépend de 
Les hypothèses faites en sus de l'indépendance sont là uniquement pour assurer l'homogénéité de la chaîne de Markov. - Le critère est fondamental en cela que toute chaîne de Markov homogène peut être simulée exactement via une récurrence de la forme
pour une fonction bien choisie. Plus précisément, si est une chaîne de Markov homogène, il existe un quintuplet 
où 
désigne un espace de probabilité, 
est une variable aléatoire à valeurs dans 
et où est une suite de variables aléatoires i.i.d. à valeurs dans 
et étant définies sur et indépendantes, et il existe une application 
définie de dans 
telles que la suite 
définie par
- ait même loi que la suite
- On peut même choisir
![\scriptstyle\ F=[0,1],\](https://static.techno-science.net/illustration/Definitions/autres/e/ec112d58275f3bfdad8c05658666a1cd_1ee3f81097be3b8694f003045c9f52df.png)
et choisir des variables 
indépendantes et uniformes sur l'intervalle [0,1], ce qui est commode pour l'étude de chaînes de Markov via des méthodes de Monte-Carlo, i.e. par simulation de trajectoires « typiques » de chaînes de Markov.