学生马尔可夫链：从马尔可夫过程到马尔可夫奖励过程

从 MP 到 MRP

马尔可夫过程（马尔可夫链）由状态集合和转移矩阵 $P$ 组成，下一个状态只取决于当前状态。给每个状态加上奖励 $R(s)$ 和折扣因子 $\gamma$，就得到马尔可夫奖励过程，其状态价值满足

$$V=R+\gamma PV⟹V=(I-\gamma P{)}^{-1}R$$

演示中的价值就是用这个解析解算出来的；“采样 500 条”则用蒙特卡洛的办法——直接对很多条轨迹的折扣回报取平均——得到同一个数。

可以试试

• 逐步采样，看高亮的节点和边，体会“下一步只看现在”。
• 采样 500 条，比较“平均回报”和“解析解 V(第一节课)”。
• 把“刷手机→刷手机”调到 0.95，再调到 0.5，观察各状态价值的变化。

相关教程

• 马尔可夫决策过程
• 全部交互工具