贝尔曼算子是压缩映射：任意初值都收敛到同一个不动点

压缩映射

贝尔曼期望算子 ${\mathcal{T}}^{\pi }$ 和最优算子 ${\mathcal{T}}^{\ast }$ 都是 $\mathrm{\infty }$-范数下的 $\gamma$-压缩：

$$\parallel \mathcal{T}V-\mathcal{T}U{\parallel }_{\mathrm{\infty }}\le \gamma \parallel V-U{\parallel }_{\mathrm{\infty }}$$

由 Banach 不动点定理，它们各有唯一不动点（$V^{\pi }$ 和 $V^{\ast }$），并且从任意初值出发迭代都会以几何速度收敛到它。这就是迭代策略评估和价值迭代收敛的理论保证。

可以试试

• 把随机初值幅度调到 ±50：前几步两张表差别巨大，几十次迭代后完全一样。
• γ 从 0.5 调到 0.99：收敛明显变慢，红色上界的斜率就是 ${\log }_{10}\gamma$。
• 切换到期望算子：缩小比例几乎恒等于 γ；最优算子常常更快。

相关教程

• 贝尔曼方程
• 动态规划
• 全部交互工具