Cadenas de Markov - PowerPoint

							     Cadenas de Markov
               Problema Ratón:
     Un ratón cambia de habitáculo
  cada minuto con igual probabilidad a
         las salas adyacentes


     Salón       1


Habitación 2     Cocina 3
                            4
                1/2
      S                            E         1/2



                1/3
1/2                                    1/3
          1/3
                             1/3
                 1/3


      H                            C
                       1/3
                1/2
  Matriz de probabilidades de transición :

            0     1/3    1/3   1/3

       P=   1/2    0     1/2   0
            1/3    1/3     0   1/3
            1/2    0     1/2   0

Calculamos el espectro :             |λI–P|=0

                   λ=0               Multiplicidad 1 y
                                     único λ de módulo 1
 Autovalores :     λ=1
                   λ = -1/3
                                      Existe
                   λ = - 2/3          distribución final.
     P (∞) ( I – P ) = 0

    Sistema de ecuaciones :

                       1   -1/3   -1/3     -1/3
( PS , PH , PC ,PE )   -1/2 1     -1/2      0       = (0,0,0,0,0)
                       -1/3 -1/3     1     -1/3
                       -1/2   0    -1/2     1

                                         -Salón         PS = 0,3
 PS + PH + PC + PE = 1
                                         -Habitación     PH = 0,2
  Probabilidades son                     -Cocina         PC = 0,3
                                         -Entrada        PE = 0,2
Existe distribución límite porque :
       El sistema tiene una sola clase final
       Esa clase final es aperiódica

        Para acabar con el ratón
  • Se pone queso envenenado en la cocina
   • Se abre la puerta de la entrada (S C)


                                           S
                                                   E
                                       C       H
 Ahora el sistema carece de distribución
                 límite
        -Hay dos distribuciones finales

                          1/3
1/3        E                                S


 SC                                       1/3
                 1/3
                                1/3             1/3


           C                     1/3        H
                 1/3
¿ Que probabilidad hay de que el sistema
  sea absorbido en cada estado final ?
       1. E, S y H son estados transitorios.
       2. C y SC son estados recurrentes o
                       finales.
  •     La situación inicial del ratón determinará la
                       situación futura.
  •      Si inicialmente está en E es más probable
                      que salga de casa.
   •     Si inicialmente está en H es más probable
                  que se quede en la cocina.
 Matriz de transición:             Estructura de P :
     1   0     0     0    0
     0    1    0     0    0             I        O
P=   1/3 0     0     1/3 1/3      P=
     0   1/3   1/3    0     1/3
                                       R        Q
     0   1/3   1/3      0
                      1/3
1. Matriz identidad (tantas columnas y filas como
   estados finales)       (I)
2. Matriz 2 x 3 (tantas columnas como transitorios y
   tantas filas como estados finales)       (O)
3. Matriz 3 x 2 (Probabilidades de absorción en un
   solo salto)            (R)
4. Matriz 3 x 3 (Probabilidad de transición entre
   transitorios)          (Q)
• QIJ probabilidad de que el sistema, encontrándose
inicialmente en el estado transitorio i acabe en el estado
final j.

i = Entrada,Salón,Habitación (estados transitorios) (3,4,5)
j = Cocina,Salir de casa (estados finales) (1,2)

             Q31 = 1/3 + 1/3 Q41 + 1/3 Q51

  Prob. de que se marche        Prob. De que estando
  directamente                  en 4 pase a 1

             Q41 = 1/3 Q31 + 1/3 Q51
             Q51 = 1/3 Q31 + 1/3 Q41
Resolvemos el sistema:

  1      -1/3   -1/3   Q31 Q32   1/3 0
  -1/3    1     -1/3   Q41 Q42 = 0 1/3
  -1/3 -1/3     1      Q51 Q52   0 1/3

         I-Q                       R
• Probabilidad de acabar en cada uno de los
estados finales en función de su posición inicial

   Q31 Q32         1/2 1/2
   Q41 Q42      = 1/4 3/4
    Q51 Q52        1/4 3/4

             La suma de los términos de
            las filas debe ser 1.
             O termina en un estado final
            o en el otro.
             La probabilidad de los
            estados transitorios es cero.
Dependiendo de la situación inicial del ratón
    ¿ Cuánto tiempo medio tardará en
              desaparecer?
         Llamamos mi al número medio de
     transiciones hasta la absorción si el
      sistema se encuentra en el estado
                  transitorio i
               mE         Nos encontramos
          inicialmente en la entrada.
         mi = es una v.a. de tipo discreto.
                  mi = 1, 2,3 ...

                        El ratón se va a la 1ª
        Sistema de ecuaciones:


• mE = 1 ·1/3 + 1/3 (1 + mS ) + 1/3 (1 + mH)

    Tiempo                  Tiempo
                                     Pasar de la entrada
             Probabilidad            al dormitorio

• mS = 1 ·1/3 + 1/3 (1 + mE ) + 1/3 (1 + mH)

• mH = 1 ·1/3 + 1/3 (1 + mE ) + 1/3 (1 + mS)
1      -1/3   -1/3   mS                   mS        3
                              1
-1/3    1     -1/3   mE   =               mE    =   3
                              1
-1/3 -1/3     1      mH                   mH        3
                              1

       I-Q


         • Independientemente de la sala donde
         se encuentre inicialmente, el tiempo que
         transcurre hasta que nos deshacemos del
         ratón es tres.