TD3 的 Clipped Double Q：高估如何被自举放大，又如何被抑制

为什么连续动作也会高估

DDPG 的目标 $y=r+\gamma Q_{{\varphi }^{\prime }}(s^{\prime },\mu (s^{\prime }))$ 里，$\mu$ 是朝着 $Q$ 的最大值训练的，相当于隐式地取了 $\underset{a}{max}Q$。只要 $Q$ 有估计误差，$\mu$ 就倾向于停在误差为正的地方，与 DQN 的 max 偏差同理，并通过自举一轮轮传递下去。

TD3 训练两个 Critic，目标取 $y=r+\gamma \underset{i=1,2}{min}{Q}_{{\varphi }_i^{\prime }}(s^{\prime },{\tilde{a}}^{\prime })$。

可以试试

• σ = 0：没有误差就没有偏差，两条线都在真值上。
• γ 调到 0.98：单 Critic 的高估被放大得更多（偏差约正比于 1/(1−γ)）。
• 在下方逐轮查看 Q̂₁、Q̂₂ 和它们的较小值：红点处 Q̂₁ 往往明显高于 Q̂₂。

相关教程

• TD3
• Double DQN
• 全部交互工具