# 迭代策略评估：4×4 网格上的逐格扫描与原地更新

> 来源：https://dqn.cn/tools/policy-evaluation ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/policy-evaluation）

## 迭代策略评估

对每个非终止状态反复执行

$$
V_{k+1}(s) = \sum_a \pi(a \mid s) \sum_{s'} p(s' \mid s, a)\,[r + \gamma V_k(s')]
$$

**同步**更新用两张表：新值都由上一轮的旧值算出。**原地**更新只用一张表，后更新的格子能立刻用上前面刚算出的新值，通常收敛更快。

## 可以试试

- 点“更新一个格子”逐格观察：黄色是正在更新的格子，蓝色是它的四个邻居。
- k = 3 时右边的贪心箭头已经是最优策略，而 V 还远没收敛——这就是**策略迭代**中不必把策略评估做到底的原因。
- 运行到收敛后，V 就是教材图 4.1 的最终数值（γ = 1 时角落附近 −14、−20、−22）。

## 相关教程

- [动态规划](https://dqn.cn/basics/dynamic-programming)
- [全部交互工具](https://dqn.cn/tools/)