# 两状态 MDP：策略、价值函数与占用度量

> 来源：https://dqn.cn/tools/two-state-mdp ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/two-state-mdp）

## 两种视角

给定策略 $\pi$（在 A 以概率 $p$ 前往 B），可以用贝尔曼方程直接解出

$$
v_\pi(B) = \frac{r_B}{1-\gamma}, \qquad v_\pi(A) = \frac{p\,(r_{\text{前往}} + \gamma v_\pi(B)) + (1-p)\, r_{\text{停留}}}{1 - (1-p)\gamma}
$$

也可以先算出占用度量 $\rho_\pi(s, a)$，再用 $J(\pi) = \frac{1}{1-\gamma}\langle \rho_\pi, r \rangle$。两者总是相等。

## 可以试试

- 默认奖励下，$v_\pi(A)$ 随 $p$ 单调上升，最优策略是“总是前往”（曲线右端点）。
- 把 γ 调到 0.3：远方 B 的奖励被折扣得厉害，最优策略变成“总是停留”。
- 注意 $v_\pi(A)$ 的最大值总在端点 $p = 0$ 或 $p = 1$：有限 MDP 总存在**确定性**的最优策略。

## 相关教程

- [马尔可夫决策过程：占用度量](https://dqn.cn/basics/mdp)
- [全部交互工具](https://dqn.cn/tools/)