# 【论文速递】DQN：用深度强化学习达到人类水平的控制

> 来源：https://dqn.cn/papers/2026-10-dqn-nature ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-10-05 ｜ 更新：2026-10-30 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

## 论文信息

| 项目 | 内容 |
| --- | --- |
| 标题 | *Human-level control through deep reinforcement learning* |
| 作者 | Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller 等 |
| 机构 | DeepMind |
| 发表 | *Nature* 518, 529–533, 2015 |
| 链接 | [Nature 论文页](https://www.nature.com/articles/nature14236)（DOI: 10.1038/nature14236）· 前身工作 [arXiv:1312.5602](https://arxiv.org/abs/1312.5602)（NIPS 2013 Deep Learning Workshop） |
| 关键词 | 深度 Q 网络、经验回放、目标网络、Atari |

## 一句话总结

用卷积网络近似动作价值函数 $Q(s,a;\theta)$，配合**经验回放**和**目标网络**两项稳定化技巧，只以像素和游戏得分为输入，用**同一套网络结构与超参数**在 49 款 Atari 2600 游戏上学到了接近职业人类测试员水平的策略。

## 背景：为什么这篇论文重要

在 DQN 之前，强化学习的成功大多依赖手工设计的特征或低维、完全可观测的状态。把神经网络和 Q-learning 结合并不新鲜，但“非线性函数逼近 + 自举（bootstrapping）+ 离策略学习”这三者同时出现时，训练常常发散——Sutton 与 Barto 后来称之为“致命三要素”（deadly triad）。

DQN 的贡献在于证明：只要处理好数据相关性和目标漂移，深度网络可以端到端地从高维感知输入学到控制策略。这篇论文通常被视为深度强化学习时代的起点，本站的名字 DQN.CN 也来自这里。

## 核心方法

### 1. 损失函数

DQN 用 Q-learning 的目标训练网络。第 $i$ 次迭代的损失为

$$
L_i(\theta_i) = \mathbb{E}_{(s,a,r,s') \sim U(D)}\left[\left(r + \gamma \max_{a'} Q(s', a'; \theta_i^-) - Q(s, a; \theta_i)\right)^2\right]
$$

其中 $D$ 是经验回放池，$U(D)$ 表示从中均匀采样，$\theta_i^-$ 是目标网络参数。

### 2. 经验回放（Experience Replay）

把每一步的转移 $(s_t, a_t, r_t, s_{t+1})$ 存入回放池，训练时随机抽取小批量。这样做有三个好处：

- 打破连续样本之间的强相关性，使小批量更接近独立同分布；
- 每条经验可以被多次使用，提高数据效率；
- 训练分布是许多旧策略的平均，减轻“策略变化 → 数据分布变化 → 策略再变化”的反馈振荡。

### 3. 目标网络（Target Network）

每隔 $C$ 次更新，把在线网络 $Q$ 复制为目标网络 $\hat Q$，之后 $C$ 次更新中都用 $\hat Q$ 计算目标 $y_j$。论文指出，在标准在线 Q-learning 中，一次提高 $Q(s_t,a_t)$ 的更新往往也会提高 $Q(s_{t+1},a)$，从而推高目标本身，引发振荡或发散；目标网络在“更新”与“该更新影响目标”之间引入延迟，使训练稳定得多。

### 4. 其他工程细节（论文 Methods 部分）

- **预处理**：把 210×160 的彩色画面转灰度、缩放到 84×84，并堆叠最近 4 帧作为输入（84×84×4）。
- **网络**：3 层卷积（32 个 8×8 步长 4、64 个 4×4 步长 2、64 个 3×3 步长 1）+ 512 单元全连接层 + 每个动作一个输出。一次前向传播得到所有动作的 Q 值。
- **奖励裁剪**：训练时把正奖励记为 +1、负奖励记为 −1，使不同游戏可以共用同一学习率。
- **误差裁剪**：把 TD 误差项裁剪到 $[-1, 1]$，等价于对大误差使用绝对值损失（与今天常用的 Huber 损失思路一致）。
- **优化与探索**：RMSProp，小批量 32；ε 在前 100 万帧从 1.0 线性退火到 0.1，之后固定为 0.1。
- **训练规模**：每个游戏训练 5000 万帧（约 38 天的游戏经验），回放池保存最近 100 万帧；使用跳帧（agent 每 $k$ 帧决策一次，$k=4$）。

### 伪代码

```text
初始化回放池 D，在线网络 Q(θ)，目标网络 Q̂(θ⁻ = θ)
for 每个回合:
    for 每一步 t:
        以 ε-贪心选择动作 a_t，执行，得到 r_t、s_{t+1}
        把 (s_t, a_t, r_t, s_{t+1}) 存入 D
        从 D 随机采样小批量 (s_j, a_j, r_j, s_{j+1})
        y_j = r_j                                  若 s_{j+1} 为终止状态
            = r_j + γ max_a' Q̂(s_{j+1}, a'; θ⁻)    否则
        对 (y_j − Q(s_j, a_j; θ))² 做一步梯度下降
        每 C 步：θ⁻ ← θ
```

## 关键实验结论

- **评测协议**：49 款 Atari 2600 游戏，每个游戏单独训练一个网络，但所有游戏使用**相同的网络结构、学习算法和超参数**。分数按 $100 \times (\text{DQN} - \text{随机}) / (\text{人类} - \text{随机})$ 归一化，人类基准来自一名职业游戏测试员。
- **对比已有方法**：在 49 款游戏中的 **43 款**上超过了当时最好的强化学习方法，且没有使用其他方法所依赖的 Atari 先验知识。
- **对比人类**：整体达到与职业人类测试员相当的水平，在**超过一半（29 款）**的游戏中得分超过人类分数的 75%。
- **消融实验**：去掉经验回放或目标网络都会显著降低性能，其中经验回放的影响尤其大。
- **失败案例**：在 Montezuma's Revenge 等需要长期规划、奖励极其稀疏的游戏上，DQN 几乎没有进展。这类“难探索”游戏后来成为探索研究的主战场。
- 论文还用 t-SNE 可视化了最后一层隐藏表示，显示网络把视觉上不同但价值相近的画面映射到相近的位置。

## 优点与局限

**优点**

- 通用性：一套超参数通吃几十个游戏，这在当时非常有说服力。
- 简单：经验回放 + 目标网络两个想法易于实现，至今仍是几乎所有离策略深度 RL 算法（DDPG、TD3、SAC 等）的标配。

**局限**

- **过估计**：$\max$ 操作在有噪声的估计上会系统性高估 Q 值，后来由 Double DQN 解决。
- **样本效率低**：每个游戏需要 5000 万帧，远超人类学习所需。
- **只适用于离散动作**：$\max_{a'}$ 在连续动作空间中难以计算，催生了 DDPG 等方法。
- **探索简单**：ε-贪心难以应对稀疏奖励。
- 均匀回放没有区分样本的重要性，后续的优先经验回放（PER）对此做了改进。

## 与本站教程的联系

- [DQN 教程](https://dqn.cn/advanced/dqn)：从零实现本文的核心算法，并在 CartPole 上实测训练的不稳定性；页面中的 Atari 小节用 Gymnasium 复现了本文的预处理和网络结构。
- [DQN 改进：Double / Dueling / PER / Rainbow](https://dqn.cn/advanced/dqn-improvements)：针对本文局限的一系列改进。
- [Q-learning 与 SARSA](https://dqn.cn/basics/q-learning-sarsa)：DQN 的表格版前身。

## 参考文献

- Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. *Nature*, 518(7540), 529–533. [doi:10.1038/nature14236](https://doi.org/10.1038/nature14236)
- Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2013). Playing Atari with Deep Reinforcement Learning. *NIPS Deep Learning Workshop*. [arXiv:1312.5602](https://arxiv.org/abs/1312.5602)
- van Hasselt, H., Guez, A., & Silver, D. (2016). Deep Reinforcement Learning with Double Q-learning. *AAAI*. [arXiv:1509.06461](https://arxiv.org/abs/1509.06461)

## 如何引用本文

DQN.CN 编辑部. 【论文速递】DQN：用深度强化学习达到人类水平的控制[EB/OL]. DQN.CN, 2026-10-05（更新于 2026-10-30）. https://dqn.cn/papers/2026-10-dqn-nature.