# 贝尔曼方程手算器：点一个格子，逐项展开 V(s) 与 Q(s,a)

> 来源：https://dqn.cn/tools/bellman-calc ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/bellman-calc）

## 方程回顾

贝尔曼期望方程（给定策略 $\pi$）与贝尔曼最优方程：

$$
V^\pi(s) = \sum_a \pi(a\mid s) \sum_{s'} p(s'\mid s,a)\big[r + \gamma V^\pi(s')\big], \qquad V^*(s) = \max_a \sum_{s'} p(s'\mid s,a)\big[r + \gamma V^*(s')\big]
$$

用 Q 表示时，下一状态的价值换成下一状态各动作的 Q 值：最优方程取 $\max_{a'} Q^*(s',a')$，期望方程取 $\sum_{a'}\pi(a'\mid s')Q^\pi(s',a')$。

工具中的价值已经用迭代法算到收敛（误差小于 $10^{-12}$），所以你看到的每一个算式，左边和右边都是相等的——收敛的价值函数正是贝尔曼方程的**不动点**。

## 可以试试

- 点击终点左边的格子：向右的那一行有 0.8 的概率直接拿到 +1，所以它是最优动作；向上撞墙的 0.8 概率会留在原地。
- 把滑动概率调成 0：每个动作只剩一项，算式变成 $V(s) = r + \gamma V(s')$，最简单的确定性情形。
- 切换到“均匀随机策略”：V 变成四个 Q 的平均，大多数格子的价值明显下降，靠近陷阱的格子甚至变成负数。
- 切换到 Q 版本，选一个动作，看下一状态的四个 Q 值如何被取 max（或平均）。

## 相关教程

- [贝尔曼方程](https://dqn.cn/basics/bellman)
- [动态规划](https://dqn.cn/basics/dynamic-programming)
- [全部交互工具](https://dqn.cn/tools/)