Partie 1 Introduction, Rappels de probabilit´e Plan Mod by mvm76083

VIEWS: 9 PAGES: 11

									                                                                                                  Plan
                                                                                                  1      Introduction
                                                                                                                ´
                                                                                                            Modelisation
                                                                                                                `
                                                                                                            Modele probabiliste des images
                             ´
                          Modelisation statistique pour l’analyse d’images                        2                           ´
                                                                                                         Rappels de probabilites
                                                                                                                     ´
                                                                                                           Probabilites
                                                                                                           Conditionnement
                                                        ´
          Partie 1 : Introduction, Rappels de probabilite                                                     ´
                                                                                                           Independance
                                                                                                                                 ı
                                                                                                           Exemple des trois boˆtes
                                                                                                                        ´
                                                                                                           Variables aleatoires
                                           Pierre Maurel                                                               ´
                                                                                                                   Esperance
                                                                                                                   Variance
                                                                                                                        ´
                                                                                                                   Correlation
                                          pierre.maurel@irisa.fr
                                                                                                                   Conditionnement
                                                                                                                      ´
                                                                                                                   Independance
                                             2009-2010                                                         `
                                                                                                              Regle de Bayes
                                                                                                  3      Statistiques
                                                                                                           Estimateur
                                                                                                           Loi des grands nombres
                                                                                                  4      Un exemple sur des images

 Pierre Maurel (pierre.maurel@irisa.fr)         Cours MSI                    2009-2010   1 / 41       Pierre Maurel (pierre.maurel@irisa.fr)                  Cours MSI                                                 2009-2010            2 / 41




                                                                                                     ´                   `
                                                                                                  Modelisation d’un probleme


                                                                                                                                                           ´
                                                                                                                                                          Debruitage d’une image f                       ´
                                                                                                                                                                                                       Debruitage, lignes horizon-
                                                                                                                          Courbe Brachistochrone
                                                                                                                                                          QUELCONQUE ? → NON                           tales
                                                                                                                                                                                                       trouver une image qui soit
                                                                                                                          Trouver la forme d’un tobog-
                                                                                                                                                          Trouver une image u qui soit                 proche de f et qui soit
                                                                                                           `
                                                                                                      Probleme            gan tel que le temps A → B
                                                                                                                                                          proche de f et qui soit lisse                  ´   `
                                                                                                                                                                                                       reguliere le long de l’axe
                                                                                                                          soit le plus court
                                                                                                                                                                                                       des x
Introduction                                                                                                                                                                               2
                                                                                                                                                                                                                              2
                                                                                                                                                                                                             f (x) − R u(x)       dΩ +
                                                                                                                                  xB     1 + f (x)2        Ω
                                                                                                                                                                f (x) − R u(x)                 dΩ +     Ω
                                                                                                         ´
                                                                                                      Modelisation        min                       dx                                                      ∂u 2
                                                                                                                           f     xA       −2gf (x)                  u(x)   2
                                                                                                                                                                               dΩ (minimise)                     dΩ (minimise)
                                                                                                                                                           Ω                                            Ω
                                                                                                                                                                                                            ∂x

                                                                                                                          Beltrami                        Euler-Lagrange                               Euler-Lagrange
                                                                                                      EDP                                                                                                                      2u
                                                                                                                          f (x)(1 + f (x)2 ) = Cste       ∂F
                                                                                                                                                          ∂b   −      n    ∂
                                                                                                                                                                      i=1 ∂xi
                                                                                                                                                                                     ∂F
                                                                                                                                                                                     ∂ξi        =0     u(x, y) − f (x, y) − λ ∂          =0
                                                                                                                                                                                                                              ∂x2


                                                                                                                                                          descente              de              gra-                              ∂u
                                                                                                                          solution explicite : cyclo¨de
                                                                                                                                                    ı     dient    :            ∂u
                                                                                                                                                                                                  =    Descente de gradient        ∂t    =
                                                                                                       ´
                                                                                                      Resolution                                                                ∂t
                                                                                                                                                                                                                                  ∂2 u
                                                                                                                                 ´
                                                                                                                          inversee                             ∂F          n    ∂          ∂F          f (x, y) − u(x, y) + λ
                                                                                                                                                          −    ∂b   −      i=1 ∂xi         ∂ξi                                    ∂x2




 Pierre Maurel (pierre.maurel@irisa.fr)         Cours MSI                    2009-2010   3 / 41       Pierre Maurel (pierre.maurel@irisa.fr)                  Cours MSI                                                 2009-2010            4 / 41
                                                                                                                  ´ ´                   `
                                                                                                            plus generalement les problemes qu’on se pose sont presque toujours mal
                    `          ´                       ´
      pour un probleme donne, on a besoin de modeliser les connaissances                                        ´             ´
                                                                                                            poses : une infinite de solutions possibles
                                                  ´ ´
      que l’on a sur l’image, ainsi que les proprietes que l’on souhaite obtenir.

                          ´
      exemple : pour le debruitage par EDP, on cherche une version ”plus lisse”
      de l’image originale f .

      on choisit alors de modeliser la propriete ”proche de f ” par la norme L 2 :
                             ´               ´ ´                                                                  segmentation :


                                          u−f   L2   =           |u(x) − f (x)|2 dΩ
                                                             Ω



               ´ ´ ˆ                   ´ ´
      la propriete ”etre lisse” est modelisee par une mesure sur la norme du
      gradient dans l’image                                                                                       inpainting :
                                                                                                                                                      =⇒



                                                         2
                                                     f                                 Ψ(         f )             Shape From Shading : image 2D → scene 3D
                                                                                                                                                    `
                                                                                                                  [E. Prados, O. Faugeras, 2006]


 Pierre Maurel (pierre.maurel@irisa.fr)              Cours MSI                        2009-2010    5 / 41    Pierre Maurel (pierre.maurel@irisa.fr)        Cours MSI                          2009-2010   6 / 41




     ´
Aparte : ”The crater illusion”
                                                                                                                  On a donc vu qu’il fallait rajouter des contraintes sur le type de solution
                                                                                                                  que l’on cherche

                                                                                                                                 `    ´                                      ´
                                                                                                                  ce qui revient a modeliser notre connaissance a priori du resultat
                                                                                                                  recherche´
                                                                                                                           segmentation : contour lisse → terme sur la courbure du contour, contour
                                                                                                                           englobant tel objet → contour initial + contraction/expansion
                                                                                                                           inpainting : solution reguliere → terme de regularisation sur le gradient
                                                                                                                                                  ´    `               ´
                                                                                                                                                                                             ˆ
                                                                                                                           flot optique : 2 points voisins ont de grandes chances d’avoir la meme
                                                                                                                           vitesse → terme de regularisation sur le champ σ
                                                                                                                                                  ´

                                                                                                                           ´                  ´ ´
                                                                                                                  EDP : modelisation via les derivees partielles

                                                                                                                                  ´
                                                                                                                  autre possibilite : cadre probabiliste

 ´
Depend de la position de la source lumineuse


 Pierre Maurel (pierre.maurel@irisa.fr)              Cours MSI                        2009-2010    7 / 41    Pierre Maurel (pierre.maurel@irisa.fr)        Cours MSI                          2009-2010   8 / 41
   ´
Modelisation probabiliste des images                                                             ´
                                                                                              Modelisation probabiliste des images
                                                                                                ´ `
                                                                                              Theoreme de Bayes

                                                                                                                                 ´         `
                                                                                                    on veut estimer la probabilite de la scene connaissant l’image
       ´         ´
      Etant donne une image (connue), on veut savoir quelque chose de la                                 ´ `                                        ´
                                                                                                    Le theoreme de Bayes transforme la probabilite de l’image sachant la
         `     ´
      ”scene” reelle 3D (inconnue).                                                                   `                   ´         `
                                                                                                    scene en la probabilite de la scene sachant l’image

                                                                   `
      Exemple : on veut savoir s’il y avait une personne dans la scene, et si oui,                                                                         P(I |S, K ) P(S|K )
      ou.
       `                                                                                                                                P(S|I , K )   =
                                                                                                                                                                  P(I |K )

      connaissance incomplete → theorie des probabilites
                          `       ´                   ´
                                                                                                               `                       ´
                                                                                                    S est la scene, I l’image et K represente toute la connaissance qu’on a
                                   ´         `
      on veut estimer la probabilite de la scene connaissant l’image                                                                         `
                                                                                                    avant de voir l’image (exple : type de scene)

                                                                                                                             ´                         `
                                                                                                    P(I|S, K) : la probabilite de l’image sachant la scene et K (la formation de
                                                                                                                                 `                   ´
                                                                                                    l’image). Souvent un modele physique. Appelee la vraisemblance

                                                                                                                          ´         `
                                                                                                    P(S|K) : la probabilite de la scene avant d’avoir vu l’image (mais avec la
                                                                                                                                  ´             ´
                                                                                                    connaissance de K). Appelee la probabilite a priori
 Pierre Maurel (pierre.maurel@irisa.fr)   Cours MSI                     2009-2010    9 / 41    Pierre Maurel (pierre.maurel@irisa.fr)                 Cours MSI                    2009-2010    10 / 41




                                                                                                        ´
                                                                                              Probabilites

                                                                                              Modele probabiliste : (Ω, M, P) :
                                                                                                 `


                                                                                                    Ω : l’univers, l’ensemble des possibles :
                                                                                                             lancer d’un de : Ω = {1, 2, 3, 4, 5, 6}
                                                                                                                          ´
                                                                                                             lancer d’une piece : Ω = {Pile, Face}
                                                                                                                            `
                     ´
Rappels de probabilites
                                                                                                             lancer d’une piece deux fois de suite : Ω = {(P, P), (P, F), (F, F), (F, P)}
                                                                                                                            `



                                                                                                    M : les evenements etudiables M ⊂ P(Ω), ensemble des parties de Ω
                                                                                                            ´ ´        ´
                                                                                                         exple : si E = {a, b, c}, alors P(E) = {∅, {a}, {b}, {c}, {a, b}, {b, c}, {a, c}, E}



                                                                                                                      ´
                                                                                                    P : une probabilite



 Pierre Maurel (pierre.maurel@irisa.fr)   Cours MSI                    2009-2010    11 / 41    Pierre Maurel (pierre.maurel@irisa.fr)                 Cours MSI                    2009-2010    12 / 41
          ´
Probabilites                                                                                        Conditionnement
Modele probabiliste : (Ω, M, P) :
   `                                                                                                                                                 ´
                                                                                                    Un des concepts les plus importants en probabilite : qu’est-ce qu’apporte une
                                                                                                    information ?
                        ´
      P : une probabilite
               fonction de M dans [0, 1]
                                                                                                                                      ´      ´ `                       ´ `
                                                                                                          on note P(A|B) la probabilite de l’evenement A sachant que l’evenement
                                                                                                          B a eu lieu (P(B) > 0)
               P(Ω) = 1
                                                                                                                      ´
                                                                                                          P(A|B) est definie par :
                                        ´ ´             `
               si les (Ai )i∈N sont des evenements deux a deux disjoints :
                                                                                                                                                             P(A ∩ B)
                                                   ∞           ∞                                                                              P(A|B) =
                                                                                                                                                               P(B)
                                              P         Ai =         P(Ai )
                                                  i=0          i=0

                                                                                                                            ´ ´            ´
                                                                                                          exemple : A est l’evenement ”le de donne une valeur > 4” et B est
      P(X) donne la probabilite de l’evenement X ∈ M
                              ´      ´ ´                                                                    ´ ´             ´
                                                                                                          l’evenement ”le de donne une valeur > 2”

                       ´        ´                                              1                                   A = {5, 6}
      exple : pour un de non pipe : P({1}) = P({2}) = . . . = P({6}) =         6                                   B = {3, 4, 5, 6}
                ´       ´
      probabilite d’un resultat pair :                                                                             A ∩ B = {5, 6}
                                                                                                                   P(A ∩ B) = 1 3
                                                                                      1                            P(B) = 2
              P({2, 4, 6}) = P({2} ∪ {4} ∪ {6}) = P({2}) + P({4}) + P({6}) =                                               3
                                                                                      2                            P(A|B) = 1 2


 Pierre Maurel (pierre.maurel@irisa.fr)           Cours MSI                   2009-2010   13 / 41    Pierre Maurel (pierre.maurel@irisa.fr)      Cours MSI                 2009-2010   14 / 41




   ´
Independance                                                                                                                     ı
                                                                                                    Exemple : Le jeu des trois boˆtes

      ´ `               ´
Deux evenements sont independants si la connaissance de l’un n’apporte
rien sur l’autre
                                                                                                              ı                                     ´
                                                                                                          3 boˆtes, une d’entre elles contient un tresor (T)
      A et B independants ⇐⇒ P(A ∩ B) = P(A) · P(B)
                ´
                                                                                                                                          ı
                                                                                                          Le joueur (J) choisit une des boˆtes mais ne l’ouvre pas
      si P(B) > 0, A et B independants ⇐⇒ P(A|B) = P(A)
                             ´
                                                                                                                                                ´                          ı
                                                                                                          l’animateur (A), qui sait ou est le tresor, ouvre une des deux boˆtes
                                                                                                                                     `
                                                                                                          restantes et montre que celle-ci est vide
                                                                   1
                                      `
      exemple : on lance n fois une piece (P({Pile}) = P({Face}) = 2 )
                                                                                                                                                ´             ı
                                                                                                          l’animateur propose alors au joueur d’echanger la boˆte qu’il a choisi
               univers Ω = {Pile, Face}n                                                                                       ı
                                                                                                          initialement et la boˆte restante
                                                             1
               lancers independants, implique P({l1 , . . . , ln }) =
                          ´                                                                                                   ´ ˆ ` ´
                                                                                                          Le joueur a-t-il interet a echanger ?
                                                             2n
                      ´                ı              ´ `         ´      `
               par independance, connaˆtre P pour les evenements reduits a un lancer
               permet d’obtenir P sur M toute entiere
                                                  `




 Pierre Maurel (pierre.maurel@irisa.fr)           Cours MSI                   2009-2010   15 / 41    Pierre Maurel (pierre.maurel@irisa.fr)      Cours MSI                 2009-2010   16 / 41
                             ı
Exemple : Le jeu des trois boˆtes                                                                                                       ı
                                                                                                           Exemple : Le jeu des trois boˆtes
                                                                                                            ´
                                                                                                           Resolution
   ´
Modelisation                                                                                                           `           ´               ´
                                                                                                              le probleme est symetrique : on s’interesse au cas ou le joueur a choisi la
                                                                                                                                                                  `
                                                                                                                     `   ı                           `
                                                                                                              premiere boˆte et l’animateur la deuxieme.
                                ´
      univers Ω : position du tresor, choix du joueur, choix de l’animateur                                      P(A = 2|T = 1, J = 1) =                         1
                                                                                                                                                                 2
                                                                                                                                                     1       1       1
                                          (T, J, A) ∈ {1, 2, 3}3                                                 P(T = 1, J = 1) =                   3   ·   3   =   9

                                                                                                                 P(T = 1, J = 1, A = 2) = P(A = 2|T = 1, J = 1)·P(T = 1, J = 1) = 1 · 1 =
                                                                                                                                                                                  2 9
                                                                                                                                                                                                                                 1
                                                                                                                                                                                                                                 18
      abus de notation : P(T = 1) = P({(1, 1, 1), (1, 1, 2), (1, 1, 3), (1, 2, 1), . . .})
                                                                                                                                                                                1
                                                                                                                 P(J = 1, A = 2) = P({(1, 1, 2)})                              18             + P({(2, 1, 2)}) +
                    ´                            ´
      position du tresor et choix du joueur : independants et uniforme :                                         P({(3, 1, 2)})    0      +                               1
                                                                                                                                                                                     =    1
                                                                                                       1                                                                  9               6
      P(T = 1) = P(T = 2) = P(T = 3)                =      P(J = 1) = P(J = 2) = P(J = 3) =                      P(T = 2, J = 1, A = 2) = 0
                                                                                                       3
                                                                                                                 P(T = 3, J = 1, A = 2) = P(A = 2|T = 3, J = 1) · P(T = 3, J = 1) = 1 · 1 =
                                                                                                                                                                                        9
                                                                                                                                                                                                                                  1
                                                                                                                                                                                                                                  9
                                                                  ´
      choix de l’animateur uniforme, sachant la position du tresor et le choix du
                                         ´                           ı
      joueur (si le joueur a choisi le tresor il choisit une des 2 boˆtes restantes                                                                                            P(T = 1, J = 1, A = 2)   1/18   1
                                                                                                                 P(           ?          T = 1|J = 1, A = 2) = ?                                      =      =
      avec une proba de 1 )                                                                                                                                                       P(J = 1, A = 2)        1/6   3
                           2
                                                                                                                                                                                                                       2
                                                                                                                                                   ı
                                                                                                                 Conclusion : il faut changer de boˆte ! (deux fois plus de chances,                                   3   au
                                                                                                                 lieu de 1 )
                                                                                                                         3
 Pierre Maurel (pierre.maurel@irisa.fr)        Cours MSI                             2009-2010   17 / 41    Pierre Maurel (pierre.maurel@irisa.fr)                       Cours MSI                                 2009-2010    18 / 41




            ´
Variables aleatoires                                                                                                                  ´
                                                                                                           (V.A.) Loi et fonction de repartition
                                                                                                                             ´                   ´           ´
                                                                                                                 une v.a. X definit une probabilite sur D, notee PX ainsi :
                                                                                                                                              Soit A ⊂ D, PX (A) = P(X −1 (A)) = P(X ∈ A)
      Une variable aleatoire sur (Ω, M) est une fonction X de Ω dans D, un
                     ´
               ´
      espace d’etats discrets ou continus
                                                                                                                             ´
                                                                                                                 PX est appelee loi de X
                                                           ´      ´ `
      Intuitivement, on veut pouvoir calculer la probabilite d’un evenement de la
      forme X ∈ A ⊂ D
                                                                                                                          `                                  ´
                                                                                                                 Si X est a valeur dans R (cas continu), on definit la fonction de
                                                                                                                  ´
                                                                                                                 repartition de X, FX par :
                              ´                ´            ´
      Exemples de variables aleatoires pour Ω defini par le resultat du lancer
               ´
      de deux des :                                                                                                                                      FX (y) = P(X ≤ y) = PX (] − ∞, y])
               Ω = {1, 2, 3, 4, 5, 6}2 , par exple (2, 4) ∈ Ω
               S : la somme des deux des, D = {2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12}
                                             ´
               M : la plus grande de deux valeurs obtenues, D = {1, 2, 3, 4, 5, 6}
                                                                                                                 Une v.a. X admet une densite quand il existe une fonction fX : R → reel
                                                                                                                                            ´
                        ´                                  ´            `
      Si D est au plus denombrable, on parle de variable aleatoire discrete.                                     telle que pour tout A ⊂ D

                                                                                                                                                                     P(X ∈ A) =          fX (x)dx
                                                                                                                                                                                     A

 Pierre Maurel (pierre.maurel@irisa.fr)        Cours MSI                             2009-2010   19 / 41    Pierre Maurel (pierre.maurel@irisa.fr)                       Cours MSI                                 2009-2010    20 / 41
                           ´
(V.A.) Loi et fonction de repartition : exemples                                                                                             ´                       ´
                                                                                                                                          Esperance d’une variable aleatoire
                    ´
      S somme de 2 des                                                                                                                          version probabiliste de la notion de moyenne
               D = {2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12}
                                                                                                                                                cas discret : D = {αk | k ∈ N}
                           2        3     4         5      6         7              8      9     10   11     12
                           1        2      3        4      5        6                5    4      3    2       1
                                                                                                                                                                                    E(X) =           αk · P(X = αk )
                  PS       36       36    36        36     36       36              36    36     36   36     36                                                                                 k
                           1        3      6        10     15       21              26    30     33   35
                  FS                                                                                         1
                           36       36    36        36     36       36              36    36     36   36                                        exemples :
                                                                                                                                                                                       1+2+3+4+5+6            7
                                                                                                                                                                      ´
                                                                                                                                                         Valeur d’un de : E(V) =            6
                                                                                                                                                                                                          =   2
                      ´
      M maximum de 2 des
               D = {1, 2, 3, 4, 5, 6}                                                                                                                                   ´                     ´    ´
                                                                                                                                                         Somme de deux des : E(S) = 7 (par linearite)
                                                                                                                                                                        ´
                                                                                                                                                         Max de deux des :
                            1        2    3         4          5     6                                                                                   E(M) = 1·1+3·2+5·3+7·4+9·5+11·6 =          1+6+15+28+45+66
                                                                                                                                                                                                                            =    161
                                                                                                                                                                                                                                       ≈ 4.47
                                                                                                                                                                           36                             36                     36
                  PM         1
                            36
                                     3
                                     36
                                          5
                                          36
                                                     7
                                                    36
                                                            9
                                                            36
                                                                     11
                                                                     36
                                                                                                                                                                                     ´
                                                                                                                                                cas continu, variable avec une densite :
                             1       4    9         16      25
                  FM        36       36   36        36      36
                                                                     1
                                                                                                                                                                                        E(X) =            x · fX (x)dx
                                                                                                                                                                                                      R
      loi exponentielle : fXλ (x) = 1R+ (x)λe−λx ,                                                                                              exemples :
                                                                                                                                                                                                                                                IPP   1
                                                y                               y                            y                                           loi exponentielle fX (x) = 1R+ (x)λe−λx , E(X) =                   R+
                                                                                                                                                                                                                                 λxe−λx dx =
                                                                                         −λx           −λx                    −λy                                                                                                                     λ2
         FX (y) = P(X ≤ y) =                            fX (x)dx =                  λe         dx = − e           =1−e                                                                                                                          (x−µ)
                                               −∞                           0                                0                                                                                                                          1   −
                                                                                                                                                         loi gaussienne (ou normale), notee N (µ, σ) : fX (x) =
                                                                                                                                                                                         ´                                         σ
                                                                                                                                                                                                                                       √ e
                                                                                                                                                                                                                                         2π
                                                                                                                                                                                                                                                  2σ 2     , E(X) = µ
 Pierre Maurel (pierre.maurel@irisa.fr)                         Cours MSI                                         2009-2010     21 / 41    Pierre Maurel (pierre.maurel@irisa.fr)             Cours MSI                                                  2009-2010   22 / 41




(V.A.) Variance                                                                                                                                      ´
                                                                                                                                          (V.A.) Correlation
                                                                                                                                            ´                                             ´
                                                                                                                                          Idee : mesurer le ”lien” entre deux variables aleatoires

  ´                                           ´
Idee : mesurer la dispersion d’une variable aleatoire autour de sa moyenne                                                                      Covariance : covar(X, Y) = E (X − E(X))(Y − E(Y)) = E(XY) − E(X)E(Y)

                                                                                                                                                On a covar(X, X) = var(X)
      Variance : var(X) = E ( X − E(X) )2 = E(X 2 ) − E(X)2
                                               variable centr´ e
                                                             e                                                                                  si X et Y sont a valeurs dans Rn , on definit une matrice de covariance :
                                                                                                                                                               `                         ´
                                                                                                                                                                                                                      
      Ecart-type : σ(X) =                      V(x)                                                                                                                      covar(X1 , Y1 )     ...       covar(X1 , Yn )
                                                                                                                                                        covar(X, Y) = 
                                                                                                                                                                              .
                                                                                                                                                                               .                             .
                                                                                                                                                                                                             .         
                                                                                                                                                                               .         covar(X , Y )       .         i   j
      exemples :                                                                                                                                                                    covar(Xn , Y1 )               ...             covar(Xn , Yn )
               variable avec une densite : σ 2 (X) = (x − E(X))2 fX (x) dx
                                       ´
               v.a. exponentielle : σ 2 (Xλ ) =                 1
                                                               λ2
                                                                                                                                                                                                       covar(X, Y)
                                                                                                                                                                  ´
                                                                                                                                                coefficient de correlation : ρ(X, Y) =
               v.a. gaussienne, N (µ, σ) : σ (Xλ ) = σ     2                    2                                                                                                                       σ(X)σ(Y)

                                                                                                                                                                                                ´ ´
                                                                                                                                                si ρ(X, Y) = 0 les variables sont dites non correlees

                                                                                                                                                X et Y independantes ⇒ X et Y non correlees
                                                                                                                                                          ´                           ´ ´

 Pierre Maurel (pierre.maurel@irisa.fr)                         Cours MSI                                         2009-2010     23 / 41    Pierre Maurel (pierre.maurel@irisa.fr)             Cours MSI                                                  2009-2010   24 / 41
           ´
(V.A.) Correlation                                                                                                                                (V.A.) Conditionnement
                     ´         ´                          ´ `
      Exemple, Ω defini par le resultat du lancer de deux des a 3 faces :
      Ω = {1, 2, 3}2                                                                                                                                                                  ´
                                                                                                                                                        pour plusieurs v.a., on peut definir :

         ´                   ´     ´                  ´
      X resultat du premier de, Y resultat du second de :                                                                                                        Loi jointe : P(X = x, Y = y) = PXY (x, y)

                    covar(X, Y) = E (X − E(X))(Y − E(Y)) = E(XY) − E(X)E(Y)                                                                                      Lois marginales : PX (x) =                              y   PXY (x, y)
                             1+2+3
               E(X) =          3
                                          =2                                                                                                                     Lois conditionnelles : PX|Y (x|y) =                             PXY (x,y)
                                                                                                                                                                                                                                  PY (y)
                             1+2+3
               E(Y) =          3
                                          =2
                                    1                2         2             1            2         1                                                   cas ou PXY (x, y) ∝ f (x, y)
                                                                                                                                                             `
               E(XY) = 1 ·          9
                                          +2·        9
                                                         +3·   9
                                                                   +4·       9
                                                                                  +6·     9
                                                                                              +9·   9
                                                                                                        =4
                                                                                                                                                                                                  f (x,y)
               covar(X, Y) = 0 = ρ(X, Y)                                                                                                                         PXY (x, y) =                     f (x,y) dy dx
                                                                                                                                                                                         x    y

                                          ´ ´
               les variables sont non correlees                                                                                                                                      y   f (x,y) dy
                                                                                                                                                                 PX (x) =                f (x,y) dy dx
                                                                                                                                                                                 x   y
         ´                   ´                   ´
      X resultat du premier de, M maximum des 2 des                                                                                                                                          f (x,y)
                                                                                                                                                                 PX|Y (x|y) =                f (x,y) dx
                                               covar(X, M) = E(XM) − E(X)E(M)                                                                                                            x

                             1+2+3
               E(X) =          3
                                          =2                                                                                                            Independance : X ⊥ Y ⇐⇒ PXY = PX · PY
                                                                                                                                                           ´
                             1·1+2·3+3·5                 22
               E(M) =             9
                                                   =     9
                                                                                                                                                           ´
                                                                                                                                                        Independance conditionnelle :
                                      1              1         1              2           1         3           47
               E(XM) = 1 ·            9
                                          +2·        9
                                                         +3·   9
                                                                    +4·       9
                                                                                  +6·     9
                                                                                              +9·   9
                                                                                                            =   9                                       X ⊥ Y|Z ⇐⇒ PXY|Z = PX|Z · PY|Z ⇐⇒ PX|YZ = PX|Z
                                          1
               covar(X, Y) =              3
                                              =0
 Pierre Maurel (pierre.maurel@irisa.fr)                                  Cours MSI                                          2009-2010   25 / 41    Pierre Maurel (pierre.maurel@irisa.fr)                                    Cours MSI                                   2009-2010   26 / 41




(V.A.) Conditionnement                                                                                                                                      ´
                                                                                                                                                  (V.A.) Independance
                                                                                                                                                                           ´                             ´
                                                                                                                                                  Factoriser les probabilites jointes peut permettre de deduire certaines
         ´
      Esperance conditionnelle : E(g(X, y)|Y = y) =                                                     x   g(x, y)PX|Y (x|y)                        ´
                                                                                                                                                  independances

      ”Intuitif” : E(X|Y = y) est la valeur moyenne des X qu’on peut obtenir                                                                            PXY (x, y) ∝ f (x) g(y)                           ⇐⇒           X⊥Y                   et
      quand Y = y
                                                                                                                                                                                                                      f (x)                           g(y)
                                                                                                                                                                                              PX (x) =                         ,         PY (y) =
                                                                                                                                                                                                                      f (x) dx                        g(y) dy
                                  ´                        ´
      exemple : S, somme de deux des, X valeur du premier de, Y valeur du                                                                                                                                           x                               y

               ´
      second de :
                  y               1           2          3         4        5         6                                                                 PXYZ (x, y, z) ∝ f (x, y) g(y, z)                             ⇐⇒            X ⊥ Y|Z          et
                                  9           11         13        15       17       19
         E(S|Y = y)               2            2         2          2       2         2                                                                                                                             f (x, z)                                g(y, z)
                                                                                                                                                                                PX|Z (x|z) =                                    ,        PY|Z (y|z) =
                                                                                                                                                                                                                    f (x, z) dx                             g(y, z) dy
      En effet :                                                                                                                                                                                                  x                                       y

               E(S|Y = y) = E(X + y|Y = y) =                                  x (x   + y)PX|Y (x|y)
                                 ´
               or X et Y sont independants donc PX|Y (x|y) = PX (x)                                                                                     PXY|Z (x, y|z) ∝ f (x, y) g(y, z)                              ⇐⇒           X ⊥ Y|Z
               E(S|Y = y) =                   x (x   + y)PX (x)
                                                                                                                                                        PX|YZ (x|y, z) ∝ f (x, z)                         ⇐⇒            X ⊥ Y|Z
               E(S|Y = y) =                   x xPX (x) +               x yPX (x) = E(x) + y
                                                                                                                                                                                                        ´
                                                                                                                                                        encore valable si X, Y et Z sont des vecteurs aleatoires
 Pierre Maurel (pierre.maurel@irisa.fr)                                  Cours MSI                                          2009-2010   27 / 41    Pierre Maurel (pierre.maurel@irisa.fr)                                    Cours MSI                                   2009-2010   28 / 41
 `
Regle de Bayes
Relie PX|Y et PY|X , fondamentale pour la suite du cours.
                             PXY (x, y)
      PX|Y (x|y) =
                              PY (y)

                             PXY (x, y)
      PY|X (y|x) =
                              PX (x)
                                                                                                                           Statistiques
                                PY|X PX
      Donc : PX|Y             =
                                  PY

                             ´                        ´
      exemple, S somme de 2 des, X valeur du premier de :
                                          1
               PS|X (S > 4|X = 1) =       2
                                      1
               PX (X = 1) =           6
                                                             6        5
               PS (S > 4) = 1 − PS (S ≤ 4) = 1 −             36
                                                                  =   6
                                          1/2·1/6       1
               PX|S (X = 1|S > 4) =         5/6
                                                    =   10

 Pierre Maurel (pierre.maurel@irisa.fr)                 Cours MSI                                    2009-2010   29 / 41    Pierre Maurel (pierre.maurel@irisa.fr)              Cours MSI                                 2009-2010   30 / 41




Statistiques                                                                                                               Estimateur
                                                                                                                                                   `                                           `
                                                                                                                                 On suppose les Xi a valeurs dans A et on veut estimer un parametre
          ´ ´
Principe general :                                                                                                               θ∈Θ

                                                                                                                                                                                                `
                                                                                                                                 un estimateur de θ est une fonction qui fait correspondre a une suite
                                 ´                            ˆ
      on observe des variables aleatoires X1 , . . . , Xn de meme loi P                                                                                                   ˆ                      ´
                                                                                                                                 d’observations X1 , . . . , Xn la valeur θ que l’on nomme estime ou
                                                                                                                                 estimation

                 `                                `
      on cherche a obtenir des informations sur P a partir des observations                                                      ˆ           ´         ´              ´
                                                                                                                                 θ est calculee sur un echantillon tire au hasard, c’est donc une variable
                                                                                                                                   ´            ´             ´           ˆ
                                                                                                                                 aleatoire possedant une esperance E(θ) et une variance Var(θ). ˆ
      par exemple, on fixe une famille de lois {Pθ | θ ∈ Θ} et on veut trouver la
                                                                                                                                                                          ´
                                                                                                                                 exemple : Pµ,σ une loi de moyenne µ et d’ecart-type σ
      valeur de θ telle que P = Pθ .
                                                                                                                                                                                                               1   n
                                                                                                                                          estimateur de µ la moyenne empirique : µ(X1 , . . . , Xn ) =
                                                                                                                                                                                 ˆ                             n   i=1   Xi
                                                                                                                                                              ˆ
                                                                                                                                          estimateur de σ 2 : σ 2 (X1 , . . . , Xn ) =   1   n
                                                                                                                                                                                                       − µ)2
      exemples :                                                                                                                                                                         n   i=1 (Xi

               Xi ∼ N (µ, 1) et on cherche µ                                                                                                           ` ´
                                                                                                                                 exemple : on cherche a evaluer la population totale de poissons dans un
                                                                                                                                                                                           ˆ
                                                                                                                                 lac. On ramasse n poissons et on les marque. On les relache. On attend.
                  `      ´
               modele lineaire ; Yi = αxi + β +              i   avec     i   ∼ N (0, σ) et on cherche α et β
                                                                                                                                                  ´
                                                                                                                                 On tire alors un echantillon de poissons du lac, on calcule la proportion p
                                                                                                                                 de poissons marques. n : estimateur de la population totale de poissons
                                                                                                                                                     ´ p
                                                                                                                                 dans le lac.
 Pierre Maurel (pierre.maurel@irisa.fr)                 Cours MSI                                    2009-2010   31 / 41    Pierre Maurel (pierre.maurel@irisa.fr)              Cours MSI                                 2009-2010   32 / 41
Estimateur                                                                                                     Loi forte des grands nombres
                                                                                                                                 ´                                   ´
                                                                                                                     (Xi )i∈N independantes et identiquement distribuees
                   ˆ                   ´
      la valeur de θ varie donc avec l’echantillon X1 , . . . , Xn , on veut estimer                                 E(X) = µ
      l’erreur commise
                                                                                                                     Alors :
                                                                                                                                                                    n
                                             ´
      Biais d’un estimateur : Une variable aleatoire fluctue autour de son                                                                                      1
                                                                                                                                                         lim             Xi = µ                u
                                                                                                                                                                                      presque sˆ rement
          ´                                    ´         ˆ    ´     `
      esperance. On souhaite donc que l’esperance de θ soit egale a θ                                                                                    n→∞   n
                                                                                                                                                                   i=1


                           ˆ      ˆ
                     Biais(θ) = E(θ) − θ                                                                                                                                        ´
                                                                                                                     La moyenne empirique converge (presque surement) vers l’esperance.
                                                                                                                                                             ˆ
                                                                                                                                          ´
                                                                                                                     base de l’approche frequentiste
      si le biais est nul : en ”moyenne” l’estimateur ne se trompe pas.                                                                          ´
                                                                                                                     exemple, M maximum de deux des
                                                                                                                                   ´                         ´
                                                                                                                              On realise n lancer de deux des : ((x1 , y1 ), . . . , (xn , yn ))
                                               ´
      exemple : Pµ,σ une loi de moyenne µ et d’ecart-type σ                                                                   on calcule µn = 1 i max(xi , yi )
                                                                                                                                           ˆ    n
                                                                                                                                         ´
                                                                                                                              on trace l’evolution µn en fonction de n.
                                                                                                                                                   ˆ
               E(ˆ(X1 , . . . , Xn )) = µ : estimateur sans biais
                 µ
                  ˆ
               E σ 2 (X1 , . . . , Xn ) = n−1 σ 2 : estimateur biaise (on lui prefere donc
                                                                    ´           ´ ´
                                           n
               ˆ2 = 1           n           2
               σ      n−1       i=1 (Xi − µ) )




 Pierre Maurel (pierre.maurel@irisa.fr)          Cours MSI                               2009-2010   33 / 41    Pierre Maurel (pierre.maurel@irisa.fr)                    Cours MSI                       2009-2010   34 / 41




                                                                                                                            ´
                                                                                                               Un exemple theorique
                                                                                                                              `
                                                                                                                     on considere des images binaires : noir (1) et blanc (0)
                                                                                                                     ´         ´
                                                                                                                     Etant donne une image I :




Un exemple sur des images



                                                                                                                                                        ´
                                                                                                                     On nous donne (ou on suppose, = modelise) deux informations :
                                                                                                                                                        ´
                                                                                                                        (i) I vient d’une image x composee de grandes parties blanches et de grandes
                                                                                                                                             ´    `
                                                                                                                            parties noires (reguliere)
                                                                                                                                                             ´ ´    ´                    ´
                                                                                                                        (ii) la couleur des pixels de x ont ete independamment inversees avec une
                                                                                                                             probabilite p (si p = 0 l’image n’a pas change, si p = 1 un pixel sur deux a
                                                                                                                                       ´                                  ´         2
                                                                                                                             change)´

 Pierre Maurel (pierre.maurel@irisa.fr)          Cours MSI                               2009-2010   35 / 41    Pierre Maurel (pierre.maurel@irisa.fr)                    Cours MSI                       2009-2010   36 / 41
             ´
Un exemple theorique                                                                                                                   ´
                                                                                                                          Un exemple theorique
      on veut restaurer l’image, donc se rapprocher le plus possible du x initial
      ici l’image est de taille 150 × 150, il y a donc 2150∗150 ≈ 106750 images                                                       ´ ´
                                                                                                                                plus general :
      possibles (2 valeurs possibles par pixel)                                                                                                                                               a,      si xs = xt
                                                                                                                                                                         Ast (xs , xt ) =
                                                                                                                                                                                              r,      si xs = xt
                                                        `
      on veut commencer par restreindre notre recherche a un petit
      sous-ensemble en utilisant l’information (i)                                                                              avec a > r (attractif > repulsif) et
                                      ´     ´
               une image sera representee par (xs )s∈S ou S est une grille rectangulaire finie
                                                           `
               de pixels s. xs est la valeur de l’image au pixel s (0 ou 1)                                                                     A(x) =               Ast (xs , xt ) (produit sur tous les couples adjacents)
               on rajoute des contraintes :
                                  xs = xt   pour tous les pixels s et t adjacent (←→,        ou    )                            on normalise pour avoir                       x   A(x) = 1
               ces deux images ne respectent pas cette contrainte :
                                                                                                                                   ´                        ´                                ´
                                                                                                                                A definit donc une probabilite sur l’ensemble des images appelee
                                                                                                                                          ´                      ´
                                                                                                                                probabilite a priori (”probabilite d’obtenir x sachant (i)”)
                                                                                                                                ´                             ´         ´
                                                                                                                                A partir de (ii) on obtient : etant donne l’image initiale x et une
                                                                                                                                                     ´
                                                                                                                                observation associee y :

                                                ´
               mais on aimerait pouvoir les differencier                                                                                                       P(y|x) = P(x|y) = p#{xs =ys } (1 − p)#{xs =ys }
                                        ´       ´
               On peut donc mesurer la regularite d’une image x par A(x) : le nombre de
               contraintes valides
 Pierre Maurel (pierre.maurel@irisa.fr)                Cours MSI                                    2009-2010   37 / 41    Pierre Maurel (pierre.maurel@irisa.fr)                    Cours MSI                           2009-2010   38 / 41




             ´
Un exemple theorique                                                                                                                   ´
                                                                                                                          Un exemple theorique
      ´         ´
      etant donne une observation ˆ on modifie la fonction A :
                                  y                                                                                                                                                            ´
                                                                                                                                On verra plus tard comment trouver x qui maximise la probabilite
                    ˆ
                    A(x) = A(x)P(ˆ|x) =
                                 y                           Ast (xs , xt ) p1{xs =ys } (1 − p)1{xs =ys }                                                                ´ ´                       `
                                                                                                                                Ici, aucune information sur la forme n’a ete introduite dans le modele.
                                                   s     t                                                                      Sinon : reconstruction quasi parfaite
               ˆ         ´                           ´      ´            ´
      une fois A normalise, on obtient une probabilite appelee probabilite a
                                  `
      posteriori correspondant a P(x|ˆ) y                                                                                               ´ ´
                                                                                                                                on a modelise (i) par une fonction A

      2 termes en competition : A(x) terme de regularite, P(ˆ|x) attache aux
                      ´                        ´       ´    y                                                                                                                                    a si xs = xt
                                                                                                                                                                           Ast (xs , xt ) =
           ´
      donnees                                                                                                                                                                                      r si xs = xt
                            ˆ
      on cherche x tel que A(x) soit le plus grand possible, x le plus probable au                                              en prenant a et r constants.
                           ´                                  ´
      sens de la probabilite que l’on vient de construire (et etant donne´                                                      Si on choisit a1 et r1 pour les paires de pixels adjacents verticalement et
      l’observation ˆ).
                    y                                                                                                           a2 et r2 pour les paires de pixels adjacents horizontalement, avec a1 > r1
                                                                                                                                et r2 > a2 alors on obtient :


                                                                                                                                                                          ´                      `
                                                                                                                                                                    La modelisation reste donc tres importante !



 Pierre Maurel (pierre.maurel@irisa.fr)                Cours MSI                                    2009-2010   39 / 41    Pierre Maurel (pierre.maurel@irisa.fr)                    Cours MSI                           2009-2010   40 / 41
     `
Problemes



              ´           `                                  ´ ´
     Comment definir le modele a priori ? (A dans l’exemple precedent)

                              `              `
     Comment choisir les parametres de ce modele ? (a et r)

              ´                  ´                           ´ ´
     Comment definir la probabilite a posteriori dans le cas general ?

                                    `                        ´
     Comment estimer la vraie image a partir de la probabilite a posteriori ?
     (maximisation)




Pierre Maurel (pierre.maurel@irisa.fr)   Cours MSI                   2009-2010   41 / 41

								
To top