Acerca de este experimento
Una cadena de Markov salta aleatoriamente entre estados, pero la probabilidad de cada salto depende solo de dónde se encuentra ahora, no de cómo llegó allí. El tiempo de mañana depende del de hoy, la siguiente página de un internauta depende de la actual y la siguiente forma de una molécula depende de su forma presente. Sea cual sea el punto de partida de la cadena, una cadena bien comportada olvida su comienzo y converge a un estado estacionario π. Edita las probabilidades de transición, ejecuta la cadena y observa cómo convergen a π tanto las frecuencias a largo plazo como la distribución pₙ.
Objetivos de aprendizaje
- Escribe la matriz de transición de una cadena de Markov y comprueba que la suma de cada fila sea 1
- Calcula la distribución después de n pasos como p₀Pⁿ
- Encuentra la distribución estacionaria resolviendo πP = π
- Relaciona la velocidad de convergencia con el segundo mayor valor propio de P
- Reconoce las cadenas que no convergen, como las cadenas periódicas
Cómo usarlo
- 1En la cadena meteorológica, pulsa «Ejecutar» y observa el token. Luego pulsa «1000 pasos». ¿Qué tan cerca están las barras de las líneas discontinuas?
- 2Cambia el estado inicial. ¿Cambia el estado estacionario? ¿Cambia la parte inicial del gráfico superior?
- 3Comprueba a mano el estado estacionario: multiplica π por la matriz y demuestra que obtienes π de nuevo.
- 4Elige «Mezcla lenta». ¿Cuántos pasos necesita el gráfico superior para estabilizarse? Compáralo con |λ₂| y el valor mostrado.
- 5Elige «Ciclo periódico». ¿Por qué el gráfico superior nunca se estabiliza, aunque sí lo haga la proporción de tiempo en cada estado?
- 6Elige «Olvida de inmediato». ¿Por qué la distribución alcanza π después de un solo paso?
El modelo
Supuestos
- Tres estados y probabilidades de transición homogéneas en el tiempo. Cada fila se edita con dos controles deslizantes; la probabilidad de permanecer en el mismo estado es la que queda.
- La trayectoria de la muestra procede de un generador aleatorio con semilla, por lo que el mismo número de ejecución siempre da la misma trayectoria; «Nueva ejecución» cambia la semilla.
- El estado estacionario se obtiene resolviendo exactamente las ecuaciones lineales. El número de pasos para aproximarse hasta un 1 % se estima como ln 100 / (-ln |λ₂|).
Pruébalo en clase
- Q1Para P = [[0.9, 0.1], [0.5, 0.5]], encuentra la distribución estacionaria.
- Q2Demuestra que la distribución uniforme es estacionaria siempre que cada columna de P también sume 1.
- Q3Una cadena tiene |λ₂| = 0.95. ¿Aproximadamente cuántos pasos necesita para olvidar su estado inicial?
- Q4Explica por qué la cadena de ciclo periódico tiene una distribución estacionaria, pero pₙ no converge a ella.
- Q5El PageRank original de Google es la distribución estacionaria de un internauta aleatorio. ¿Por qué añadió una pequeña probabilidad de saltar a cualquier página?
Preguntas frecuentes
¿Qué significa aquí que no tenga memoria?
El futuro depende del pasado únicamente a través del estado presente. Si sabes que hoy llueve, saber que la semana pasada hizo sol no te dice nada más sobre el día de mañana.
¿Toda cadena tiene un estado estacionario?
Toda cadena finita tiene al menos una distribución estacionaria. Es única si se puede llegar a cualquier estado desde cualquier otro, y pₙ converge a ella desde cualquier estado inicial si, además, la cadena no es periódica.
¿Dónde se usan las cadenas de Markov?
En modelos de colas y fiabilidad, genética, reconocimiento de voz, predicción de texto y finanzas, así como en el método de Montecarlo con cadenas de Markov, que construye una cadena cuya distribución estacionaria es la distribución de la que se quieren obtener muestras.