主题
论文速递
论文速递栏目用中文解读强化学习领域的经典论文和新论文。每篇文章包括：论文信息、一句话总结、研究背景、核心方法（含公式和伪代码）、关键实验结论、优缺点，以及与本站教程的联系。目标是让你用 15 分钟判断一篇论文值不值得精读，并知道读完后该去哪里动手实践。
我们的写作原则
- 只写论文里有的数字：实验结论中的具体数值都来自原文的正文或表格；没有把握的地方只做定性描述。
- 链接可核对：每篇文章都给出 arXiv 或期刊 DOI 链接，方便你对照原文。
- 与教程打通：每篇文章都会指向本站对应的教程，那里有可以运行的代码。
往期文章
2026-10-28 · DreamerV3 / 基于模型的 RL / 世界模型 / Minecraft
DreamerV3：一套超参数通吃 150 多个任务的世界模型解读 Hafner 等人的 DreamerV3 论文：RSSM 世界模型、在想象轨迹中训练的 Actor-Critic，以及 symlog、KL 平衡、回报百分位归一化等稳健化技巧，如何让一套固定超参数在 150 多个任务上工作并在 Minecraft 中收集钻石。
2026-10-26 · GRPO / DeepSeekMath / 大模型推理 / RLHF / PPO
DeepSeekMath 与 GRPO：去掉价值网络的组相对策略优化解读 DeepSeekMath 论文：1200 亿 token 数学语料的构建方法，用组内相对奖励代替价值网络的 GRPO（组相对策略优化）算法，以及论文对强化学习为何能提升数学推理能力的统一分析。
2026-10-22 · DPO / RLHF / 偏好优化 / 大模型对齐
DPO：你的语言模型其实是一个奖励模型解读 Rafailov 等人 2023 年的 DPO 论文：从 KL 约束的奖励最大化推导出闭式最优策略，把 RLHF 的奖励建模与强化学习化简为一个偏好数据上的分类损失，以及 DPO 的实验结论、优点与局限。
2026-10-19 · CQL / 离线 RL / 外推误差 / 经典论文
CQL：保守 Q 学习与离线强化学习解读 Kumar 等人 2020 年的 CQL（保守 Q 学习）论文：为什么离线强化学习会因分布外动作而高估价值，CQL 如何通过正则项压低分布外动作的 Q 值、学到真实价值的下界，以及在 D4RL 上的实验结果。
2026-10-15 · Decision Transformer / 离线 RL / Transformer / 序列建模
Decision Transformer：把强化学习看作序列建模解读 Chen 等人 2021 年的 Decision Transformer 论文：把离线强化学习转化为以期望回报为条件的序列建模问题，用自回归 Transformer 和监督学习生成动作，在 Atari、D4RL 上与 CQL 等方法的对比及其局限。
2026-10-12 · SAC / 连续控制 / 最大熵 / 离策略 / 经典论文
SAC：最大熵框架下的离策略 Actor-Critic解读 Haarnoja 等人 2018 年的 Soft Actor-Critic 论文及其后续版本：最大熵强化学习目标、软策略迭代的收敛性、重参数化的策略更新与温度系数自动调节，以及 SAC 在连续控制基准上的样本效率与稳定性。
2026-10-08 · PPO / 策略梯度 / 同策略 / 经典论文
PPO：近端策略优化算法解读 Schulman 等人 2017 年的 PPO 论文《Proximal Policy Optimization Algorithms》：裁剪代理目标与自适应 KL 惩罚、多轮小批量更新、在 MuJoCo 与 Atari 上与 TRPO、A2C、ACER 的对比，以及 PPO 为何如此流行。
2026-10-05 · DQN / 基于价值 / Atari / 经典论文
DQN：用深度强化学习达到人类水平的控制解读 Mnih 等人 2015 年发表于 Nature 的经典 DQN 论文《Human-level control through deep reinforcement learning》：经验回放与目标网络如何稳定深度 Q 学习，在 49 款 Atari 游戏上的结果，以及局限与后续影响。
按主题浏览
| 主题 | 文章 | 相关教程 |
|---|---|---|
| 基于价值的方法 | DQN（Nature 2015） | DQN |
| 策略梯度 | PPO | PPO、TRPO |
| 连续控制 | SAC | SAC、TD3 |
| 离线强化学习 | CQL、Decision Transformer | 离线强化学习 |
| 基于模型的 RL | DreamerV3 | 基于模型的强化学习 |
| 大模型与 RL | DPO、DeepSeekMath / GRPO | RLHF 与大模型中的 RL |
想系统地读论文，可以先看 必读论文 中按主题整理的阅读清单。
订阅方式
- RSS：本站在每次构建时自动生成 RSS 订阅源 https://dqn.cn/feed.xml，可以添加到 Feedly、Inoreader、NetNewsWire 等任意 RSS 阅读器，新文章发布后会自动推送。
- 微信公众号 / 邮件订阅：筹备中。上线后会在 社区 页面公布。
投稿与选题
欢迎投稿论文解读，或者告诉我们你最想看的论文：