2. Soit maintenant (X
n) la chaîne de Markov de graphe dessiné ci-dessous. Expliquer pourquoi
lim(P(Xn=4 | X0=1) = μs,4(4)×(P((Xn) passe par 3→4 ou par 2→5 | X0=1).
Que vaut cette limite ?
Quelle est l'espérance du temps de premier passage à l'état 4 partant
de l'état 1 ? Quelle est cette même espérance conditionnée à
l'évènement "(X
n) passe par 5 au bout d'un certain temps" ?
3. Soit (X
n) la chaîne de Markov de matrice P indiquée ci-dessous. Trouver l'entier d minimal tel que la suite de matrices (P
dn) admette une limite quand n→+∞. Que vaut cette limite ? Comment se comporte la suite (P
n) quand n→+∞ ?
P au format txt
P128 calculé avec Maxima (avec la matrice P donnée par
PP.txt)
L2Mass - "Markov
& Martingales", 17 mai 2014