# 贝尔曼算子是压缩映射：任意初值都收敛到同一个不动点

> 来源：https://dqn.cn/tools/bellman-contraction ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/bellman-contraction）

## 压缩映射

贝尔曼期望算子 $\mathcal{T}^\pi$ 和最优算子 $\mathcal{T}^*$ 都是 $\infty$-范数下的 $\gamma$-压缩：

$$
\|\mathcal{T}V - \mathcal{T}U\|_\infty \le \gamma \|V - U\|_\infty
$$

由 Banach 不动点定理，它们各有唯一不动点（$V^\pi$ 和 $V^*$），并且从任意初值出发迭代都会以几何速度收敛到它。这就是迭代策略评估和价值迭代收敛的理论保证。

## 可以试试

- 把随机初值幅度调到 ±50：前几步两张表差别巨大，几十次迭代后完全一样。
- γ 从 0.5 调到 0.99：收敛明显变慢，红色上界的斜率就是 $\log_{10}\gamma$。
- 切换到期望算子：缩小比例几乎恒等于 γ；最优算子常常更快。

## 相关教程

- [贝尔曼方程](https://dqn.cn/basics/bellman)
- [动态规划](https://dqn.cn/basics/dynamic-programming)
- [全部交互工具](https://dqn.cn/tools/)