贝尔曼方程手算器：点一个格子，逐项展开 V(s) 与 Q(s,a)

方程回顾

贝尔曼期望方程（给定策略 $\pi$）与贝尔曼最优方程：

$$V^{\pi }(s)=\sum _a\pi (a\mid s)\sum _{s^{\prime }}p(s^{\prime }\mid s,a)[r+\gamma V^{\pi }(s^{\prime })],V^{\ast }(s)=\underset{a}{max}\sum _{s^{\prime }}p(s^{\prime }\mid s,a)[r+\gamma V^{\ast }(s^{\prime })]$$

用 Q 表示时，下一状态的价值换成下一状态各动作的 Q 值：最优方程取 $\underset{a^{\prime }}{max}{Q}^{\ast }(s^{\prime },a^{\prime })$，期望方程取 $\sum _{a^{\prime }}\pi (a^{\prime }\mid s^{\prime })Q^{\pi }(s^{\prime },a^{\prime })$。

工具中的价值已经用迭代法算到收敛（误差小于 ${10}^{-12}$），所以你看到的每一个算式，左边和右边都是相等的——收敛的价值函数正是贝尔曼方程的不动点。

可以试试

• 点击终点左边的格子：向右的那一行有 0.8 的概率直接拿到 +1，所以它是最优动作；向上撞墙的 0.8 概率会留在原地。
• 把滑动概率调成 0：每个动作只剩一项，算式变成 $V(s)=r+\gamma V(s^{\prime })$，最简单的确定性情形。
• 切换到“均匀随机策略”：V 变成四个 Q 的平均，大多数格子的价值明显下降，靠近陷阱的格子甚至变成负数。
• 切换到 Q 版本，选一个动作，看下一状态的四个 Q 值如何被取 max（或平均）。

相关教程

• 贝尔曼方程
• 动态规划
• 全部交互工具