关于此实验
马尔可夫链会在状态之间随机跳转，但每次跳转的概率只取决于它当前所处的状态，而不取决于它是如何到达那里的。明天的天气取决于今天的天气，网络冲浪者接下来访问的页面取决于当前页面，分子的下一个形态取决于它现在的形态。无论链从何处开始，性质良好的链都会忘记起点，并趋于稳态 π。编辑转移概率，运行这条链，观察长期频率和分布 pₙ 如何收敛到 π。
学习目标
- 写出马尔可夫链的转移矩阵，并检查每一行的和是否为 1
- 将 n 步后的分布计算为 p₀Pⁿ
- 通过求解 πP = π 找到稳态分布
- 探究收敛速度与 P 的第二大特征值之间的关系
- 识别不会收敛的链，例如周期链
使用方法
- 1在天气链中，点击“运行”并观察令牌。然后点击“1000 步”。柱状图与虚线有多接近？
- 2更改初始状态。稳态会改变吗？上方图表的前段会改变吗？
- 3手动检查稳态：用 π 乘以矩阵，并证明结果仍是 π。
- 4选择“缓慢混合”。上方图表需要多少步才能稳定下来？将其与 |λ₂| 和读数进行比较。
- 5选择“周期循环”。为什么上方图表始终无法稳定下来，尽管各状态所占的时间比例已经稳定？
- 6选择“立即遗忘”。为什么分布只需一步就能达到 π？
模型
假设
- 有三个状态，且转移概率不随时间变化。每一行都通过两个滑块进行编辑；剩下的概率就是停留在原状态的概率。
- 样本路径由带种子的随机数生成器生成，因此相同的运行编号总会得到相同的路径；选择“新运行”会更改种子。
- 通过精确求解线性方程组来求出稳态。要将误差控制在 1 % 以内，所需步数估算为 ln 100 / (-ln |λ₂|)。
在课堂上试试这个实验
- Q1对于 P = [[0.9, 0.1], [0.5, 0.5]]，求其平稳分布。
- Q2证明：只要 P 的每一列之和也为 1，均匀分布就是平稳分布。
- Q3某个马尔可夫链满足 |λ₂| = 0.95。它大约需要多少步才能忘记初始状态？
- Q4解释为什么“周期循环链”有平稳分布，但 pₙ 不会收敛到该分布。
- Q5Google 最初的 PageRank 是随机冲浪者的稳态分布。为什么要加入一个以小概率跳转到任意页面的机制？
常见问题
这里的“无记忆”是什么意思？
未来只通过当前状态依赖过去。如果你知道今天下雨，那么即使知道上周是晴天，也无法因此进一步了解明天的情况。
每个链都有稳态吗？
每个有限马尔可夫链都至少有一个平稳分布。如果每个状态都能到达其他所有状态，那么该分布是唯一的；此外，如果该链还是非周期的，那么无论从哪个状态开始，pₙ 都会收敛到这个分布。
马尔可夫链有哪些应用？
它应用于排队和可靠性模型、遗传学、语音识别、文本预测、金融，以及马尔可夫链蒙特卡洛方法。该方法构造一条以你想要采样的分布为稳态分布的链。