# 学生马尔可夫链：从马尔可夫过程到马尔可夫奖励过程

> 来源：https://dqn.cn/tools/markov-chain ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/markov-chain）

## 从 MP 到 MRP

**马尔可夫过程**（马尔可夫链）由状态集合和转移矩阵 $P$ 组成，下一个状态只取决于当前状态。给每个状态加上奖励 $R(s)$ 和折扣因子 $\gamma$，就得到**马尔可夫奖励过程**，其状态价值满足

$$
V = R + \gamma P V \quad\Longrightarrow\quad V = (I - \gamma P)^{-1} R
$$

演示中的价值就是用这个解析解算出来的；“采样 500 条”则用蒙特卡洛的办法——直接对很多条轨迹的折扣回报取平均——得到同一个数。

## 可以试试

- 逐步采样，看高亮的节点和边，体会“下一步只看现在”。
- 采样 500 条，比较“平均回报”和“解析解 V(第一节课)”。
- 把“刷手机→刷手机”调到 0.95，再调到 0.5，观察各状态价值的变化。

## 相关教程

- [马尔可夫决策过程](https://dqn.cn/basics/mdp)
- [全部交互工具](https://dqn.cn/tools/)