# TD3 的 Clipped Double Q：高估如何被自举放大，又如何被抑制

> 来源：https://dqn.cn/tools/clipped-double-q ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/clipped-double-q）

## 为什么连续动作也会高估

DDPG 的目标 $y = r + \gamma Q_{\phi'}(s', \mu(s'))$ 里，$\mu$ 是朝着 $Q$ 的最大值训练的，相当于隐式地取了 $\max_a Q$。只要 $Q$ 有估计误差，$\mu$ 就倾向于停在误差为正的地方，与 DQN 的 max 偏差同理，并通过自举一轮轮传递下去。

TD3 训练两个 Critic，目标取 $y = r + \gamma \min_{i=1,2} Q_{\phi'_i}(s', \tilde a')$。

## 可以试试

- σ = 0：没有误差就没有偏差，两条线都在真值上。
- γ 调到 0.98：单 Critic 的高估被放大得更多（偏差约正比于 1/(1−γ)）。
- 在下方逐轮查看 Q̂₁、Q̂₂ 和它们的较小值：红点处 Q̂₁ 往往明显高于 Q̂₂。

## 相关教程

- [TD3](https://dqn.cn/advanced/td3)
- [Double DQN](https://dqn.cn/advanced/dqn-improvements)
- [全部交互工具](https://dqn.cn/tools/)