Devoir

Comportement asymptotique d'une chaîne de Markov, temps moyen de premier passage à un état j partant d'un état i.

Pour calculer les mesures invariantes d'une matrice stochastique, on peut utiliser la calculatrice de matrice de wims ou l'outil Linear Solver comme dans cet exemple.

1. Soit (Xn) (respectivement (X'n)) la chaîne de Markov dont le graphe est dessiné ci-dessous (le graphe sous le trait en pointillé n'est pas complet à dessein). Pour i un état récurrent de (Xn) (resp. de (X'n)) on note μs,i (resp. μ's,i) la mesure stationnaire de support la composante irréductible de i ; ainsi μs,i(i) désigne la valeur en i de la mesure stationnaire de la composante irréductible de (Xn) contenant i. S'il n'y a qu'une seule composante irréductible, on notera simplement μs la mesure stationnaire.
Expliquer pourquoi l'expression μ's(4)/(μ's(4)+μ's(5)) est bien définie et pourquoi elle vaut la probabilité que (Xn) passe par 3→4 sachant X0=1.
Comment se comparent les deux probabilités P((Xn) passe par 3→4 | X0=1) et P((Xn) passe par 3→4 | X0=3) ?
      

2. Soit maintenant (Xn) la chaîne de Markov de graphe dessiné ci-dessous. Expliquer pourquoi
lim(P(Xn=4 | X0=1) = μs,4(4)×(P((Xn) passe par 3→4 ou par 2→5 | X0=1).
Que vaut cette limite ?

Quelle est l'espérance du temps de premier passage à l'état 4 partant de l'état 1 ? Quelle est cette même espérance conditionnée à l'évènement "(Xn) passe par 5 au bout d'un certain temps" ?

3. Soit (Xn) la chaîne de Markov de matrice P indiquée ci-dessous. Trouver l'entier d minimal tel que la suite de matrices (Pdn) admette une limite quand n→+∞. Que vaut cette limite ? Comment se comporte la suite (Pn) quand n→+∞ ?


P au format txt

P128 calculé avec Maxima (avec la matrice P donnée par PP.txt)

L2Mass - "Markov & Martingales", 17 mai 2014