Q 值过估计与 Double DQN：max 运算的偏差可视化

为什么会高估

设每个动作的估计 $\hat{Q} (a) = Q (a) + ϵ_{a}$ ，噪声零均值。虽然每个估计都无偏，但

E [max_{a} \hat{Q} (a)] \geq max_{a} E [\hat{Q} (a)] = max_{a} Q (a)

（Jensen 不等式，max 是凸函数）。直观地说，max 会“挑中”恰好被噪声抬高的那个动作。DQN 的目标 $r + γ max_{a^{'}} Q_{\bar{θ}} (s^{'}, a^{'})$ 每一步都带着这个正偏差，再通过自举一层层传播放大。

双估计器：用一套估计选动作，用另一套独立的估计评估它： ${\hat{Q}}_{B} (\arg max_{a} {\hat{Q}}_{A} (a))$ 。由于 ${\hat{Q}}_{B}$ 的噪声与“选择”无关，期望不再偏高。Double DQN 用在线网络选动作、目标网络评估：

y = r + γ Q_{\bar{θ}} (s^{'}, \arg max_{a^{'}} Q_{θ} (s^{'}, a^{'}))

可以试试

K = 10、σ = 1、所有动作真实值都为 0：单估计器的平均值约为 +1.5，而真实最大值是 0；双估计器的平均值约为 0。
把 K 调到 1：不存在“挑选”，两者都无偏。偏差随 K 增长（大约按 $σ \sqrt{2 \ln K}$ ）。
让动作 0 真实地好一些（例如 +1）：单估计器的偏差变小，双估计器会出现轻微低估——它偶尔选错动作。

相关教程