迭代策略评估：4×4 网格上的逐格扫描与原地更新

迭代策略评估

对每个非终止状态反复执行

$$V_{k+1}(s)=\sum _a\pi (a\mid s)\sum _{s^{\prime }}p(s^{\prime }\mid s,a)[r+\gamma V_k(s^{\prime })]$$

同步更新用两张表：新值都由上一轮的旧值算出。原地更新只用一张表，后更新的格子能立刻用上前面刚算出的新值，通常收敛更快。

可以试试

• 点“更新一个格子”逐格观察：黄色是正在更新的格子，蓝色是它的四个邻居。
• k = 3 时右边的贪心箭头已经是最优策略，而 V 还远没收敛——这就是策略迭代中不必把策略评估做到底的原因。
• 运行到收敛后，V 就是教材图 4.1 的最终数值（γ = 1 时角落附近 −14、−20、−22）。

相关教程

• 动态规划
• 全部交互工具