【论文速递】DQN：用深度强化学习达到人类水平的控制

论文信息

项目	内容
标题	Human-level control through deep reinforcement learning
作者	Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller 等
机构	DeepMind
发表	Nature 518, 529–533, 2015
链接	Nature 论文页（DOI: 10.1038/nature14236）· 前身工作 arXiv:1312.5602（NIPS 2013 Deep Learning Workshop）
关键词	深度 Q 网络、经验回放、目标网络、Atari

一句话总结

用卷积网络近似动作价值函数 $Q(s,a;\theta )$，配合经验回放和目标网络两项稳定化技巧，只以像素和游戏得分为输入，用同一套网络结构与超参数在 49 款 Atari 2600 游戏上学到了接近职业人类测试员水平的策略。

背景：为什么这篇论文重要

在 DQN 之前，强化学习的成功大多依赖手工设计的特征或低维、完全可观测的状态。把神经网络和 Q-learning 结合并不新鲜，但“非线性函数逼近 + 自举（bootstrapping）+ 离策略学习”这三者同时出现时，训练常常发散——Sutton 与 Barto 后来称之为“致命三要素”（deadly triad）。

DQN 的贡献在于证明：只要处理好数据相关性和目标漂移，深度网络可以端到端地从高维感知输入学到控制策略。这篇论文通常被视为深度强化学习时代的起点，本站的名字 DQN.CN 也来自这里。

核心方法

1. 损失函数

DQN 用 Q-learning 的目标训练网络。第 $i$ 次迭代的损失为

$$L_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })\sim U(D)}\left[{(r+\gamma \underset{a^{\prime }}{max}Q(s^{\prime },a^{\prime };{\theta }_i^{-})-Q(s,a;{\theta }_i))}^2\right]$$

其中 $D$ 是经验回放池，$U(D)$ 表示从中均匀采样，${\theta }_i^{-}$ 是目标网络参数。

2. 经验回放（Experience Replay）

把每一步的转移 $(s_t,a_t,r_t,s_{t+1})$ 存入回放池，训练时随机抽取小批量。这样做有三个好处：

• 打破连续样本之间的强相关性，使小批量更接近独立同分布；
• 每条经验可以被多次使用，提高数据效率；
• 训练分布是许多旧策略的平均，减轻“策略变化 → 数据分布变化 → 策略再变化”的反馈振荡。

3. 目标网络（Target Network）

每隔 $C$ 次更新，把在线网络 $Q$ 复制为目标网络 $\hat{Q}$，之后 $C$ 次更新中都用 $\hat{Q}$ 计算目标 $y_j$。论文指出，在标准在线 Q-learning 中，一次提高 $Q(s_t,a_t)$ 的更新往往也会提高 $Q(s_{t+1},a)$，从而推高目标本身，引发振荡或发散；目标网络在“更新”与“该更新影响目标”之间引入延迟，使训练稳定得多。

4. 其他工程细节（论文 Methods 部分）

• 预处理：把 210×160 的彩色画面转灰度、缩放到 84×84，并堆叠最近 4 帧作为输入（84×84×4）。
• 网络：3 层卷积（32 个 8×8 步长 4、64 个 4×4 步长 2、64 个 3×3 步长 1）+ 512 单元全连接层 + 每个动作一个输出。一次前向传播得到所有动作的 Q 值。
• 奖励裁剪：训练时把正奖励记为 +1、负奖励记为 −1，使不同游戏可以共用同一学习率。
• 误差裁剪：把 TD 误差项裁剪到 $[-1,1]$，等价于对大误差使用绝对值损失（与今天常用的 Huber 损失思路一致）。
• 优化与探索：RMSProp，小批量 32；ε 在前 100 万帧从 1.0 线性退火到 0.1，之后固定为 0.1。
• 训练规模：每个游戏训练 5000 万帧（约 38 天的游戏经验），回放池保存最近 100 万帧；使用跳帧（agent 每 $k$ 帧决策一次，$k=4$）。

伪代码

初始化回放池 D，在线网络 Q(θ)，目标网络 Q̂(θ⁻ = θ)
for 每个回合:
    for 每一步 t:
        以 ε-贪心选择动作 a_t，执行，得到 r_t、s_{t+1}
        把 (s_t, a_t, r_t, s_{t+1}) 存入 D
        从 D 随机采样小批量 (s_j, a_j, r_j, s_{j+1})
        y_j = r_j                                  若 s_{j+1} 为终止状态
            = r_j + γ max_a' Q̂(s_{j+1}, a'; θ⁻)    否则
        对 (y_j − Q(s_j, a_j; θ))² 做一步梯度下降
        每 C 步：θ⁻ ← θ

关键实验结论

• 评测协议：49 款 Atari 2600 游戏，每个游戏单独训练一个网络，但所有游戏使用相同的网络结构、学习算法和超参数。分数按 $100\times (\text{DQN}-\text{随机})/(\text{人类}-\text{随机})$ 归一化，人类基准来自一名职业游戏测试员。
• 对比已有方法：在 49 款游戏中的 43 款上超过了当时最好的强化学习方法，且没有使用其他方法所依赖的 Atari 先验知识。
• 对比人类：整体达到与职业人类测试员相当的水平，在**超过一半（29 款）**的游戏中得分超过人类分数的 75%。
• 消融实验：去掉经验回放或目标网络都会显著降低性能，其中经验回放的影响尤其大。
• 失败案例：在 Montezuma's Revenge 等需要长期规划、奖励极其稀疏的游戏上，DQN 几乎没有进展。这类“难探索”游戏后来成为探索研究的主战场。
• 论文还用 t-SNE 可视化了最后一层隐藏表示，显示网络把视觉上不同但价值相近的画面映射到相近的位置。

优点与局限

优点

• 通用性：一套超参数通吃几十个游戏，这在当时非常有说服力。
• 简单：经验回放 + 目标网络两个想法易于实现，至今仍是几乎所有离策略深度 RL 算法（DDPG、TD3、SAC 等）的标配。

局限

• 过估计：$max$ 操作在有噪声的估计上会系统性高估 Q 值，后来由 Double DQN 解决。
• 样本效率低：每个游戏需要 5000 万帧，远超人类学习所需。
• 只适用于离散动作：$\underset{a^{\prime }}{max}$ 在连续动作空间中难以计算，催生了 DDPG 等方法。
• 探索简单：ε-贪心难以应对稀疏奖励。
• 均匀回放没有区分样本的重要性，后续的优先经验回放（PER）对此做了改进。

与本站教程的联系

• DQN 教程：从零实现本文的核心算法，并在 CartPole 上实测训练的不稳定性；页面中的 Atari 小节用 Gymnasium 复现了本文的预处理和网络结构。
• DQN 改进：Double / Dueling / PER / Rainbow：针对本文局限的一系列改进。
• Q-learning 与 SARSA：DQN 的表格版前身。

参考文献

• Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540), 529–533. doi:10.1038/nature14236
• Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2013). Playing Atari with Deep Reinforcement Learning. NIPS Deep Learning Workshop. arXiv:1312.5602
• van Hasselt, H., Guez, A., & Silver, D. (2016). Deep Reinforcement Learning with Double Q-learning. AAAI. arXiv:1509.06461