Propriété de Markov - Définition

Propriété de Markov faible (temps continu, espace discret)

Mathématiquement, si X(t), t > 0, est un processus stochastique, et si x(t), t > 0, est une fonction, la propriété de Markov est définie ainsi :

Généralement, on utilise une hypothèse d'homogénéité dans le temps, c'est-à-dire :

Dans certains cas, un processus à première vue non-markovien peut tout de même avoir des représentations markoviennes en modifiant le concept d'état actuel et futur. Soient X un intervalle de temps, et Y un processus tel que chaque état de Y représente un intervalle de temps de X :

Si Y est markovien, alors c'est la représentation markovienne de X et X qui est alors appelée processus de Markov du second ordre. Les processus d'ordre supérieur sont définis de la même manière.

Propriété de Markov forte (temps discret, espace discret)

Temps d'arrêt

Notons la tribu engendrée par la suite Dans le cas de variables aléatoires à valeurs dans un espace d'états fini ou dénombrable, une partie appartient à si et seulement si il existe tel que

Interprétation. Imaginons que les variables aléatoires représentent les résultats d'un joueur lors des parties successives d'un jeu, et que représente la partie après laquelle le joueur décide d'arrêter de jouer : est un temps d'arrêt si la décision d'arrêter est prise en fonction des résultats des parties déjà jouées au moment de l'arrêt, i.e. si pour tout il existe un sous ensemble tel que  :

Cela interdit au joueur de prendre sa décision en fonction des résultats des parties futures : cela revient à faire l'hypothèse que don de double vue et tricherie sont exclus.

Pour une définition d'un temps d'arrêt en situation générale on pourra regarder

Interprétation. On sait que pour tout il existe un sous ensemble tel que  :

Si de plus cela signifie que pour tout il existe un sous ensemble tel que

En quelque sorte, on teste si l'évènement se produit ou pas en observant le comportement de la suite jusqu'au temps par abus de langage, on dit parfois que l'évènement porte sur la suite

Propriété de Markov forte

Dans l'énoncé général de la propriété de Markov faible, l'instant « présent », n, peut-être remplacé par un instant « présent » aléatoire, pourvu que soit un temps d'arrêt :

Cela peut s'interpréter comme une forme d'indépendance (une indépendance conditionnelle ) entre le passé, et le futur, de sachant ce qui se passe à l'instant à savoir En effet, en particularisant on obtient que

puis, en revenant à un élément général de , on obtient la formulation suivante :

Cas particulier des temps de retour

Dans le cas où la chaîne de Markov est irréductible, où l'état est récurrent, et où le temps d'arrêt considéré est l'instant de k-ème retour en noté plus haut on constate que, par récurrence de l'état

et que, par définition de

Ainsi les conditions apparaissant dans la propriété de Markov forte sont presque certaines. Or, dès que on a Ici cela donne que

Pour tout k, il y a donc indépendance ( inconditionnelle ) entre les évènements qui précèdent le k-ème passage en et les évènements qui suivent le k-ème passage en Qui plus est, la trajectoire de la chaîne de Markov après le k-ème passage en a même loi que la trajectoire d'une chaîne de Markov partant de à l'instant 0 : elle redémarre comme neuve, indépendamment de ce qui a pu se passer auparavant. On dit alors que les temps de retour successifs sont des instants de renouvellement ou bien des instants de régénération.

Les morceaux de trajectoires entre deux régénérations consécutives forment alors une suite de variables aléatoires i.i.d. (sauf le premier morceau, indépendant, mais éventuellement de loi différente, si la chaîne de Markov ne part pas de à l'instant 0). Cela conduit à une démonstration de la loi forte des grands nombres pour les chaînes de Markov déduite de la loi forte des grands nombres pour les v.a.r. i.i.d.. Cela donne également une méthode pour construire des intervalles de confiance pour les paramètres intéressants de la chaîne de Markov.