Chaînes de Markov introduction

Document Sample
Chaînes de Markov introduction Powered By Docstoc
					       C HAÎNES DE M ARKOV : INTRODUCTION .

                    Alexandre Popier

                        ENSAI, Bruz


                    Janvier-Mars 2010




A. Popier (ENSAI)      Chaînes de Markov.   Janvier-Mars 2010   1 / 31
P LAN DU COURS




1   I NTRODUCTION


2   D ÉFINITIONS


3   E XEMPLES D ’ APPLICATIONS




     A. Popier (ENSAI)     Chaînes de Markov.   Janvier-Mars 2010   2 / 31
P LAN




1   I NTRODUCTION


2   D ÉFINITIONS


3   E XEMPLES D ’ APPLICATIONS




     A. Popier (ENSAI)     Chaînes de Markov.   Janvier-Mars 2010   3 / 31
S UITES RÉCURRENTES ALÉATOIRES .


D ÉFINITION
Une suite récurrente aléatoire sur un espace E est une suite de v.a.
(Xn )n∈N à valeurs dans E définie sur un espace de probabilité (Ω, F, P)
solution d’une équation récurrente de la forme :

                                Xn+1 = f (θn+1 , Xn )

où
  1   θ1 , θ2 , . . . sont des v.a. i.i.d. à valeurs dans Θ ;
  2   f : Θ × E → E est une application mesurable ;
  3   X0 (la condition initiale) est une v.a. (éventuellement déterministe)
      indépendante de la suite (θi )i∈N∗ .



      A. Popier (ENSAI)             Chaînes de Markov.          Janvier-Mars 2010   4 / 31
BATTRE LES CARTES .

    E : ensemble des permutations (d’un jeu de 52 cartes), de
    cardinal 52! ;
    Θ : un sous-ensemble de E ;
    X0 = e : identité (les cartes sont ordonnées), Xn+1 = θn+1 ◦ Xn .
H YPOTHÈSES :
    Θ est mélangeant, i.e. engendre E ;
    la loi des θi charge tous les éléments de Θ.

T HÉORÈME
La suite (Xn ) est récurrente, satisfait une loi des grands nombres :
                                   n
                              1                      1
                          lim            1Xk =x =       .
                         n→+∞ n                     52!
                                  k =1


     A. Popier (ENSAI)        Chaînes de Markov.            Janvier-Mars 2010   5 / 31
BATTRE LES CARTES : COMBIEN DE FOIS ?


T HÉORÈME
La suite (Xn ) est récurrente, satisfait une loi des grands nombres :
                                          n
                                     1                      1
                                 lim            1Xk =x =       .
                                n→+∞ n                     52!
                                         k =1


    On a une asymptote de type exponentiel (condition de Doeblin) :

                     1                           1
                               P(Xn = x) −          ≤ Cρn ,        avec ρ < 1.
                     2                          52!
                         x∈E

    Diaconis a montré qu’il suffit de battre le jeu 7 fois !



     A. Popier (ENSAI)                Chaînes de Markov.                Janvier-Mars 2010   6 / 31
M ARCHES ALÉATOIRES SUR Zd .

    e1 , . . . , ed : base canonique de Rd ;
    E = Zd ;
    Θ = {−e1 , . . . , −ed , e1 , . . . , ed } ; θi de loi uniforme sur Θ ;
    X0 = 0, Xn+1 = Xn + θn+1 : marche aléatoire symétrique sur Zd .

T HÉORÈME (P OLYA , 1921)
Pour d = 1 ou 2, la marche aléatoire (Xn ) est récurrente :
P(∃n > 0, Xn = 0) = 1.
Pour d ≥ 3, elle est transiente : P(∃n > 0, Xn = 0) < 1.

C ONSTANTE DE P OLYA
C’est p(d) = P(T0 < +∞), T0 étant le temps de retour à 0. Alors
p(1) = p(2) = 1, p(3) ≈ 0, 34, p(4) ≈ 0, 19, p(10) ≈ 0, 06.

     A. Popier (ENSAI)             Chaînes de Markov.             Janvier-Mars 2010   7 / 31
M ARCHE ALÉATOIRE EN DIMENSION 1.




   A. Popier (ENSAI)   Chaînes de Markov.   Janvier-Mars 2010   8 / 31
M ARCHE ALÉATOIRE EN DIMENSION 2.




   A. Popier (ENSAI)   Chaînes de Markov.   Janvier-Mars 2010   9 / 31
C ONVOLUTION DE B ERNOULLI .

    a > 0;
    E = R;
    Θ = {−1, 1} ; θi de loi uniforme sur Θ ;
    X0 = 0, Xn+1 = aXn + θn+1 .

    Pour a = 1, marche aléatoire sur Z.
    Pour a > 1, P(limn→+∞ Xn ∈ {−∞, +∞}) = 1.
    Pour 0 < a < 1 ?

    Xn − an X0 = an−1 θ1 + . . . + θn .
                                                          1     1
    Yn = θ1 + aθ2 + . . . + an−1 θn converge vers Y∞ ∈ − 1−a , 1−a .

P ROPOSITION
(Xn ) converge en loi vers Y∞ : lim EΦ(Xn ) = EΦ(Y∞ ).
                                  n→+∞

    A. Popier (ENSAI)           Chaînes de Markov.    Janvier-Mars 2010   10 / 31
a = 0, 25.

Comportement p.s. de Xn et Yn :




    A. Popier (ENSAI)       Chaînes de Markov.   Janvier-Mars 2010   11 / 31
a = 0, 25.

Comportement en loi de X100 et Y100 :




    A. Popier (ENSAI)       Chaînes de Markov.   Janvier-Mars 2010   11 / 31
a = 0, 7.

Comportement p.s. de Xn et Yn :




    A. Popier (ENSAI)       Chaînes de Markov.   Janvier-Mars 2010   12 / 31
a = 0, 7.

Comportement en loi de X100 et Y100 :




    A. Popier (ENSAI)       Chaînes de Markov.   Janvier-Mars 2010   12 / 31
C ONVOLUTION DE B ERNOULLI : LOI DE LA LIMITE .
    Fa (t) = νa (] − ∞, t]) = P(Y∞ ≤ t).

P ROPOSITION
                                     n−1
                                 1
Pour tout I = [α, β] ⊂ R, lim               1Xk ∈I = Fa (β) − Fa (α).
                            n→+∞ n
                                     k =0


P ROPRIÉTÉS DE Fa
    Fa est l’unique solution continue de

                                    1        t −1           t +1
                   ∀t ∈ R, G(t) =     G              +G                 .
                                    2          a              a

    Si a < 1/2, νa est continue singulière (1935).
    Si a = 1/2, νa est la loi uniforme sur [−2, 2] (1935).
    Pour presque tout a > 1/2, νa est à densité (1995).
    A. Popier (ENSAI)           Chaînes de Markov.             Janvier-Mars 2010   13 / 31
S IMULATIONS DE FRACTALES .
    E = Rd ;
    Θ = {1, . . . , k } ; θi de loi uniforme sur Θ ;
    X0 = 0, Xn+1 = A(θn+1 )Xn + B(θn+1 ).
    A(1), . . . , A(k ) matrices, B(1), . . . , B(k ) vecteurs.

T HÉORÈME
Les conclusions de la convolution de Bernoulli restent les mêmes :
convergence en loi de (Xn ), théorème de convergence presque sûre
des moyennes de Césaro.

S PIRALE
    d = k = 2;
             0, 839 −0, 303                            −0, 161 −0, 136
    A(1) =                             , A(2) =                                       ;
             0, 383 0, 924                             0, 138 −0, 182
                    0, 232                   0, 921
    B(1) =                   , B(2) =                  .
                   −0, 080                   0, 178
    A. Popier (ENSAI)             Chaînes de Markov.              Janvier-Mars 2010       14 / 31
F RACTAL EN SPIRALE .




   A. Popier (ENSAI)    Chaînes de Markov.   Janvier-Mars 2010   15 / 31
P LAN




1   I NTRODUCTION


2   D ÉFINITIONS


3   E XEMPLES D ’ APPLICATIONS




     A. Popier (ENSAI)     Chaînes de Markov.   Janvier-Mars 2010   16 / 31
M ATRICES DE TRANSITION .

D ÉFINITION (E SPACE D ’ ÉTATS ,    MESURE )
DANS TOUT LE COURS, E est un espace dénombrable. Un élément
x ∈ E est un état. Une mesure ν = (νx , x ∈ E) est un vecteur ligne de
nombres réels positifs ou nuls. Si  νx = 1, la mesure est une
                                     x∈E
probabilité ou distribution.

D ÉFINITION (M ATRICE DE TRANSITION )
Une matrice de transition P sur E est une application de E × E dans
[0, 1] telle que
                      ∀x ∈ E,       P(x, y ) = 1.
                                   y ∈E

On dit aussi que la matrice est stochastique.


     A. Popier (ENSAI)         Chaînes de Markov.     Janvier-Mars 2010   17 / 31
C HAÎNE DE M ARKOV

D ÉFINITION (C HAÎNE DE M ARKOV )
Une suite de v.a. (Xn )n∈N à valeurs dans E est appelée chaîne de
Markov si pour tout n ∈ N la loi conditionnelle de Xn+1 sachant
X0 , . . . , Xn est égale à sa loi conditionnelle sachant Xn , i.e. pour tout
y0 , . . . , yn+1 dans E :

   P(Xn+1 = yn+1 |X0 = y0 , . . . , Xn = yn ) = P(Xn+1 = yn+1 |Xn = yn ).

     Pn (x, y ) = P(Xn+1 = y |Xn = x).

D ÉFINITION
Si Pn (x, y ) = P(Xn+1 = y |Xn = x) ne dépend pas de n, on parle de
chaîne de Markov homogène. Dans ce cas, la matrice P obtenue est
stochastique.

     A. Popier (ENSAI)           Chaînes de Markov.          Janvier-Mars 2010   18 / 31
D ÉFINITION « ÉQUIVALENTE »

D ÉFINITION (C HAÎNE DE M ARKOV (ν, P))
Une chaîne de Markov, de distribution initiale ν et matrice de transition
P, à valeurs dans E est une suite de v.a. (Xn )n∈N définies sur
(Ω, F, P), telle que :
  1   X0 a pour loi ν,
  2   et pour n ≥ 0, conditionnellement à Xn = x, la loi de Xn+1 est
      donnée par (P(x, y ), y ∈ E) et est indépendante de X0 , . . . , Xn−1 .

T RADUCTION MATHÉMATIQUE
Pour tout n ≥ 0 et tout y0 , . . . , yn+1 dans E :
  1   P(X0 = y0 ) = ν0 ;
  2   P(Xn+1 = yn+1 |X0 = y0 , . . . , Xn = yn ) = P(yn , yn+1 ).


      A. Popier (ENSAI)           Chaînes de Markov.           Janvier-Mars 2010   19 / 31
E XEMPLE


P ROPOSITION
Soit
       (θn )n∈N une suite de v.a. i.i.d. à valeurs dans Θ,
       X0 une v.a. à valeurs dans E, indépendante de la suite (θn )n∈N ,
       f : Θ × E → E une fonction mesurable.
Alors la suite (Xn )n∈N de v.a. à valeurs dans E et définie par la relation
de récurrence :
                        ∀n ∈ N, Xn+1 = f (θn+1 , Xn )
est une chaîne de Markov homogène.

C ONSÉQUENCES : tous les suites vues dans la partie 1 sont des
chaînes de Markov.


       A. Popier (ENSAI)         Chaînes de Markov.          Janvier-Mars 2010   20 / 31
É QUATION DE C HAPMAN -KOLMOGOROV

T HÉORÈME
Soit (Xn ) une chaîne de Markov sur E de matrice de transition P, de
distribution initiale ν. Alors

          P(X0 = y0 , . . . , Xn = yn ) = ν(y0 )P(y0 , y1 ) . . . P(yn−1 , yn ).


  1   Si Xn a pour loi µn , alors : µn+1 = µn P = νP n+1 .
  2   Pour tout (x, y ) ∈ E 2 , P(Xn = y |X0 = x) = P n (x, y ).
  3   Pour toute fonction h : E → R bornée,

                              E(h(Xn )|X0 = x) = P n h(x).

R EMARQUE
Les fonctions h : E → R sont représentées par des vecteurs colonnes.
      A. Popier (ENSAI)              Chaînes de Markov.             Janvier-Mars 2010   21 / 31
M ESURE INVARIANTE , RÉVERSIBLE


D ÉFINITION (M ESURE INVARIANTE )
Une mesure µ sur E est dite invariante si et seulement si c’est un point
fixe de l’équation Chapman-Kolmogorov, i.e. µ = µP.

D ÉFINITION (M ESURE RÉVERSIBLE )
Une mesure µ sur E est dite réversible si et seulement si

                   ∀(x, y ) ∈ E 2 ,   µ(x)P(x, y ) = µ(y )P(y , x).

P ROPOSITION
Une mesure réversible est invariante.



     A. Popier (ENSAI)                Chaînes de Markov.        Janvier-Mars 2010   22 / 31
C HAÎNE RETOURNÉE .


L EMME
Si (Xn )n∈N est une chaîne de Markov, alors pour tout N ∈ N,

                        ˆ     ˆN
                        X N = Xn = XN−n , 0 ≤ n ≤ N

est une chaîne de Markov, appelée chaîne retournée à partir de
l’instant N.

P ROPOSITION
Soit (Xn )n∈N chaîne de Markov (µ, P) avec µ probabilité réversible.
                          ˆ      ˆN
Alors la chaîne retournée X N = {Xn , 0 ≤ n ≤ N} est une chaîne de
Markov (µ, P).



    A. Popier (ENSAI)            Chaînes de Markov.   Janvier-Mars 2010   23 / 31
P ROPRIÉTÉ DE M ARKOV.


D ÉFINITION
Le processus décalé Xn+ = (Xn+,k )k ∈N est défini par

                         ∀k ≥ 0,    Xn+,k = Xn+k .

T HÉORÈME
Soit (Xn ) une chaîne de Markov sur E de matrice de transition P, de
distribution initiale ν. Alors conditionnellement à Xn = x, le processus
Xn+ est une chaîne de Markov de matrice de transition P, de
distribution initiale δx et est indépendant des v.a. X0 , . . . , Xn .

    Phénomène sans mémoire !



     A. Popier (ENSAI)        Chaînes de Markov.        Janvier-Mars 2010   24 / 31
P ROPRIÉTÉ DE M ARKOV FORTE .
Pour n ≥ 0, Fn : tribu des événements déterminés par X0 , X1 , . . . , Xn
      Fn = {ω ∈ Ω; (X0 (ω), . . . , Xn (ω)) ∈ Bn }, Bn ∈ P(E n+1 ) .

D ÉFINITION (T EMPS D ’ ARRÊT )
Une v.a. τ à valeurs dans N ∪ {+∞} est appelée un temps d’arrêt si
pour tout n ∈ N, {τ = n} ∈ Fn .

P ROPRIÉTÉ DE M ARKOV FORTE
Soit (Xn ) une chaîne de Markov (ν, P) et τ un temps d’arrêt. Alors
conditionnellement en {τ < +∞} ∩ {Xτ = x}, le processus (Xτ +n )n∈N
est une chaîne de Markov (δx , P) indépendante de Fτ . Soit pour tout
A ∈ Fτ , m > 0, x1 , . . . , xm dans E :

               P(A ∩ {Xτ +1 = x1 , . . . , Xτ +m = xm }|Xτ = x, τ < ∞)
               = P(A|Xτ = x, τ < ∞) × Px (X1 = x1 , . . . , Xm = xm ).
     A. Popier (ENSAI)            Chaînes de Markov.         Janvier-Mars 2010   25 / 31
P LAN




1   I NTRODUCTION


2   D ÉFINITIONS


3   E XEMPLES D ’ APPLICATIONS




     A. Popier (ENSAI)     Chaînes de Markov.   Janvier-Mars 2010   26 / 31
A LGORITHMES STOCHASTIQUES .
B UT
Calculer une espérance E(X ) avec X de loi donnée (dite cible).

M ÉTHODE ( DE M ONTE C ARLO )
  1   Simuler N v.a. (Xn )1≤n≤N i.i.d. de même loi que X .
  2   Poser :
                                     N
                                1                     f (X1 ) + . . . + f (XN )
                           µN =
                           ˆ              f (Xi ) =                             ,
                                N                                N
                                    i=1

                                                      N
                                            1
                              σN =
                              ˆ                            (f (Xi ) − µN )2 .
                                                                      ˆ
                                          N −1
                                                     i=1

  3   Erreur donnée par intervalle de confiance avec niveau de
                                    ˆ
                                    σN          ˆ
                                                σN
      confiance α : Iα,N = µN − cα √ , µN + cα √
                           ˆ            ˆ            .
                                      N           N
       A. Popier (ENSAI)                  Chaînes de Markov.                    Janvier-Mars 2010   27 / 31
A LGORITHMES STOCHASTIQUES .
B UT
Calculer une espérance E(X ) avec X de loi donnée (dite cible).

M ÉTHODE MCMC : voir cours ISAO de M. Fromont ! Pas nécessaire
de simuler un échantillon suivant la loi cible (échantillonnage
d’importance).
L OIS MAL CONNUES .
     Modèles avec probabilité connue à constante près : mécanique
     statistique, Ising :
                                                

            f (s) ∝ exp −H          si − J             si sj  ,   si ∈ {−1, 1}.
                                 i            (i,j)∈E

    Inférence statistique : soit X = (X1 , . . . , Xn ) un n-échantillon de loi
    de densité connue à un paramètre θ près.
    Approche bayésienne : θ v.a. de loi - appelée loi a priori - de
    densité π(θ).
     A. Popier θ sachant X dite loi a posteriori :
    Loi de (ENSAI)                Chaînes de Markov.          Janvier-Mars 2010 27 / 31
A LGORITHMES STOCHASTIQUES .

B UT
Calculer une espérance E(X ) avec X de loi donnée (dite cible).

M ÉTHODE MCMC : voir cours ISAO de M. Fromont ! Pas nécessaire
de simuler un échantillon suivant la loi cible (échantillonnage
d’importance).
L OIS MAL CONNUES .
    Inférence statistique : soit X = (X1 , . . . , Xn ) un n-échantillon de loi
    de densité connue à un paramètre θ près.
    Approche bayésienne : Estimateur bayésien :

                   T ∗ (x) = argminT         L(θ, T (x))π(θ|X =x) dθ,          p.p.
                                         Θ

    Exemple : L(θ, T (x)) = θ − T (x)                2   ⇒ T ∗ (x) = E(θ|X = x).

       A. Popier (ENSAI)               Chaînes de Markov.               Janvier-Mars 2010   27 / 31
A LGORITHMES STOCHASTIQUES .

B UT
Calculer une espérance E(X ) avec X de loi donnée (dite cible).

D ÉFINITION
On appelle algorithme MCMC (pour Monte Carlo Markov Chain) toute
méthode produisant une chaîne de Markov (X (n) ) ergodique de loi
stationnaire la distribution cible.


R EMARQUE : structure lourde, mais
    naturelle dans algorithmes d’optimisation stochastique
    (Robbins-Moro, recuit simulé, algorithmes génétiques) ;
    parfois seule possibilité (inférence statistique) ou plus efficace
    qu’un algorithme de rejet.

       A. Popier (ENSAI)      Chaînes de Markov.        Janvier-Mars 2010   27 / 31
M ODÈLE DE G ALTON WATSON .
N OMBRE D ’ ENFANTS : d’un individu : X v.a. à valeurs dans N t.q.
    P(X = 0) > 0,
    µ = E(X ) < +∞.
P OPULATION À L’ INSTANT n :
        (m)
    {Xr ; (m, r ) ∈ N2 } : suite (à double indice) de v.a. i.i.d. de même
    loi que X t.q.
              (n+1)
           Xr      : nombre d’enfants (appartenant donc à la génération n + 1)
           de l’individu r de la n-ième génération.
    {Zn ; n ∈ N} : taille de la population à la n-ième génération :
    Z0 = 1 et
                                 (n+1)          (n+1)                (n+1)
                         Zn+1 = X1        + X2            + . . . + XZn      .

P ROPOSITION
La suite (Zn ) est le processus de Galton-Watson et est une chaîne de
Markov.
     A. Popier (ENSAI)               Chaînes de Markov.                   Janvier-Mars 2010   28 / 31
M ODÈLE DE G ALTON WATSON .


P ROPOSITION
La suite (Zn ) est le processus de Galton-Watson et est une chaîne de
Markov.
Q UESTIONS :
  1   Probabilité π que la population s’éteigne ?
            Si µ ≤ 1, π = 1 ;
            si µ > 1, 0 < π < 1.
  2   La suite (Zn ) converge-t-elle ?
            Si µ ≤ 1, trivial ;
            si µ > 1, Zn /µn converge p.s. vers M∞ .




      A. Popier (ENSAI)            Chaînes de Markov.   Janvier-Mars 2010   28 / 31
M ODÈLE DE G ALTON WATSON .




E XEMPLE : P(X = k ) = pq k , k ∈ N avec 0 < p < q. Alors
    π = 1 si q ≤ p et π = p/q si q > p.
    Si q > p, loi de M∞ :

         P(M∞ = 0) = π,     P(M∞ > x) = (1 − π)e−(1−π)x , ∀x > 0.




    A. Popier (ENSAI)        Chaînes de Markov.       Janvier-Mars 2010   28 / 31
S ÉQUENÇAGE D ’ADN.
L IRE L’ADN :
     fragment d’ADN = simple brin constitué d’une succession de
     nucléotides {a, c, g, t}
                          accgtaattcgga . . . ttgc;
     le décomposer en régions codantes et non codantes ;
     régions codantes lues par codons (triplet de nucléotides) (avec un
     codon START et STOP au début et à la fin d’une région codante).
D IFFICULTÉS :
     Détecter les ruptures (via les ilôts cpg par exemple),
     Comment trouver les gènes putatifs (codon START, nombre entier
     de codons, codon STOP) ?
     Comment distinguer les vrais gènes parmi tous les gènes
     putatifs ?
M ODÉLISATION : suite des nucléotides = suite de v.a. à valeurs dans
E = {a, c, g, t} ⇒ chaîne de Markov d’ordre l.
    A. Popier (ENSAI)        Chaînes de Markov.       Janvier-Mars 2010   29 / 31
M ODÉLISATION DE FILES D ’ ATTENTE .
F ILE SIMPLE : un seul guichet, pas de capacité maximale.
     À chaque instant n, il arrive un client avec probabilité p
     (0 < p < 1), pas de client avec probabilité 1 − p.
     S’il y a au moins un client dans la file, un client est servi et quitte
     la file à chaque instant avec probabilité q (0 < q < 1).
     On note Xn le nombre de clients dans la file à l’instant n.
Alors
                     Xn+1 = Xn + Yn+1 − Zn+1 1Xn ≥1 .
Q UESTIONS :
  1 Le nombre de clients se stabilise-t-il ?

            Si p < q, avec une loi invariante de type géométrique.
  2   Combien y aura-t-il de clients en moyenne ?
            p(1−p)
             q−p .
  3   Quel est le temps moyen d’attente ?
             q−p2
            q(q−p) .

      A. Popier (ENSAI)           Chaînes de Markov.         Janvier-Mars 2010   30 / 31
M ODÉLISATION DE FILES D ’ ATTENTE .



AUTRES EXEMPLES :
   Même file que précédemment, mais il peut arriver plus que un
   client à la fois.
           Présence d’une loi invariante si E(Y1 ) < p.
    Nombre infini de serveurs et entre deux instants n et n + 1, tous
    les clients présents sont servis avec probabilité p (à l’instant
    n + 1/3) et il arrive Yn+1 nouveaux clients à l’instant n + 2/3.
    Etc.




    A. Popier (ENSAI)             Chaînes de Markov.      Janvier-Mars 2010   30 / 31
T HÉORIE DU FILTRAGE .

E XEMPLE :
    déplacement d’un satellite : Xn+1 = Xn + τ f (Xn ) + Vn (chaîne de
    Markov de matrice de transition P).
    Observations radar : Yn = Hn Xn + Wn .
    On cherche loi conditionnelle Πn de Xn sachant Y1 , . . . , Yn et
    Πn|n−1 loi conditionnelle de Xn sachant Y1 , . . . , Yn−1 .
É QUATIONS DE FILTRAGE :

                             Πn|n−1 (x) = (Πn−1 P)x

                                    Πn|n−1 (x)g(x, Yn )
                        Πn (x) =                              ,
                                   y ∈E Πn|n−1 (y )g(y , Yn )

avec g(x, z) = P(Yn = y |Xn = x).
F ILTRE DE K ALMAN -B UCY : bruits gaussiens ⇒ Πn loi gaussienne !

    A. Popier (ENSAI)              Chaînes de Markov.             Janvier-Mars 2010   31 / 31