# 【论文速递】DreamerV3：一套超参数通吃 150 多个任务的世界模型

> 来源：https://dqn.cn/papers/2026-10-dreamerv3 ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-10-28 ｜ 更新：2026-10-30 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

## 论文信息

| 项目 | 内容 |
| --- | --- |
| 标题 | *Mastering Diverse Domains through World Models*（Nature 正式版标题为 *Mastering diverse control tasks through world models*） |
| 作者 | Danijar Hafner, Jurgis Pasukonis, Jimmy Ba, Timothy Lillicrap |
| 机构 | Google DeepMind、University of Toronto |
| 发表 | arXiv 2023；*Nature* 640, 647–653, 2025 |
| 链接 | [arXiv:2301.04104](https://arxiv.org/abs/2301.04104) · [Nature](https://doi.org/10.1038/s41586-025-08744-2) |
| 关键词 | 基于模型的 RL、世界模型、RSSM、想象训练、稳健性 |

## 一句话总结

DreamerV3 学习一个环境的世界模型，然后完全在模型“想象”出的轨迹上训练 Actor 和 Critic；借助一组针对数值尺度的稳健化技巧，它**用同一套超参数**在 150 多个跨领域任务上超过了各领域专门调优的算法，并成为第一个不借助人类数据或课程、从零开始在 Minecraft 中挖到钻石的算法。

## 背景：调参是 RL 落地的隐形门槛

现有 RL 算法在“与开发时相似”的任务上表现不错，但换到新领域往往需要大量专家经验和实验来重新调参。不同环境的奖励尺度、观测类型（图像 / 向量）、动作类型（离散 / 连续）、奖励稀疏程度差异巨大。DreamerV3 的目标不是在单个基准上刷到最高分，而是做一个**开箱即用的通用算法**。

## 核心方法

### 1. 世界模型（RSSM）

世界模型把观测 $x_t$ 编码为离散的随机表示 $z_t$，用带确定性循环状态 $h_t$ 的序列模型预测未来：

$$
\begin{aligned}
&\text{序列模型：} && h_t = f_\phi(h_{t-1}, z_{t-1}, a_{t-1}) \\
&\text{编码器：} && z_t \sim q_\phi(z_t \mid h_t, x_t) \\
&\text{动态预测器：} && \hat z_t \sim p_\phi(\hat z_t \mid h_t) \\
&\text{奖励 / 继续 / 解码器：} && \hat r_t \sim p_\phi(\cdot \mid h_t, z_t),\ \hat c_t \sim p_\phi(\cdot \mid h_t, z_t),\ \hat x_t \sim p_\phi(\cdot \mid h_t, z_t)
\end{aligned}
$$

训练损失为 $\mathcal{L}(\phi) = \mathbb{E}\big[\sum_t \beta_\text{pred}\mathcal{L}_\text{pred} + \beta_\text{dyn}\mathcal{L}_\text{dyn} + \beta_\text{rep}\mathcal{L}_\text{rep}\big]$，权重为 $\beta_\text{pred}=1,\ \beta_\text{dyn}=1,\ \beta_\text{rep}=0.1$：

$$
\mathcal{L}_\text{dyn} = \max\big(1, \mathrm{KL}[\mathrm{sg}(q_\phi(z_t \mid h_t,x_t))\,\|\,p_\phi(z_t \mid h_t)]\big),\quad
\mathcal{L}_\text{rep} = \max\big(1, \mathrm{KL}[q_\phi(z_t \mid h_t,x_t)\,\|\,\mathrm{sg}(p_\phi(z_t \mid h_t))]\big)
$$

$\mathrm{sg}$ 为停止梯度。两项 KL 用不同权重（**KL 平衡**）：主要让动态预测器去拟合表示，只轻微地让表示变得更可预测；低于 1 nat 时截断（**free bits**），避免表示退化为“容易预测但没有信息”。

### 2. 在想象中学习行为

Actor 和 Critic 只在世界模型展开的想象轨迹上训练（从回放数据中的状态出发，向前想象 $T=16$ 步，折扣 $\gamma=0.997$）。Critic 学习 λ-回报的分布：

$$
R_t^\lambda = r_t + \gamma c_t\big((1-\lambda)v_t + \lambda R_{t+1}^\lambda\big),\qquad R_T^\lambda = v_T
$$

Actor 对离散和连续动作都使用 REINFORCE 估计量，并带固定的熵正则 $\eta = 3\times10^{-4}$：

$$
\mathcal{L}(\theta) = -\sum_{t=1}^{T}\mathrm{sg}\Big(\frac{R_t^\lambda - v_\psi(s_t)}{\max(1, S)}\Big)\log\pi_\theta(a_t \mid s_t) + \eta\,\mathrm{H}\big[\pi_\theta(a_t \mid s_t)\big]
$$

### 3. 让固定超参数跨领域工作的稳健化技巧

- **回报百分位归一化**：$S = \mathrm{EMA}\big(\mathrm{Per}(R^\lambda, 95) - \mathrm{Per}(R^\lambda, 5),\ 0.99\big)$。只缩小过大的回报（除以 $\max(1,S)$），不放大小回报，这样稀疏奖励时不会放大噪声，熵系数可以全局固定。
- **symlog 变换**：$\mathrm{symlog}(x) = \mathrm{sign}(x)\ln(|x|+1)$，用于向量观测的编码和预测目标，压缩大数值同时保持小数值近似不变。
- **symexp twohot 损失**：奖励和价值头输出指数间隔分箱上的分类分布，用加权平均读出连续值；梯度尺度与目标数值大小解耦。
- **1% unimix**：编码器和动态预测器的分类分布混合 1% 的均匀分布，避免分布变得确定性导致 KL 损失爆炸。
- 其他：RMSNorm、SiLU、Block GRU 结构，自适应梯度裁剪（AGC）与 LaProp 优化器等。

## 关键实验结论

- **广泛的基准，同一配置**：Atari（57 款）、Atari100k、ProcGen、DMLab、本体感知与视觉连续控制、BSuite、Minecraft 等，覆盖 150 多个任务。使用固定超参数，Dreamer 在各领域上超过了专门调优的专家算法，也大幅超过高质量的 PPO 实现。
- **Minecraft 钻石**：在稀疏奖励、长时程、程序生成的开放世界中，第一个从零开始（无人类数据、无课程）挖到钻石的算法。
- **扩展性**：在 Crafter 和 DMLab 上训练 1200 万到 4 亿参数的 6 种模型，更大的模型不仅最终性能更高，而且需要的环境交互更少；提高回放比例（每步的梯度更新次数）也能可预期地提升性能。
- **消融**：去掉各项稳健化技巧（symlog、回报归一化、twohot、KL 平衡与 free bits）都会降低性能；学习信号主要来自世界模型的无监督重建损失，而非奖励和价值梯度——这暗示未来可以利用无标签数据预训练。

## 优点与局限

**优点**

- 真正意义上的“开箱即用”，大幅降低了把 RL 用于新领域的门槛；
- 基于模型，样本效率高；
- 一系列稳健化技巧（symlog、twohot、百分位归一化等）独立于 Dreamer 也很有借鉴价值，已被许多后续工作采用。

**局限**

- 实现复杂，组件众多，从零复现的工程量远大于 PPO、SAC；
- 世界模型和想象训练的计算开销大，训练速度（墙钟时间）通常慢于无模型方法；
- 在需要精确长程规划的任务上，“只学习策略、不做搜索”的方式可能不如 MuZero 一类基于搜索的方法；
- “超过专家算法”是在各领域的平均意义上，具体到单个任务未必最优。

## 与本站教程的联系

- [基于模型的强化学习](https://dqn.cn/advanced/model-based)：介绍 Dyna、MBPO、World Models、Dreamer、MuZero 的思路，并用 Dyna-Q 在迷宫上实测了“规划步数”对样本效率的影响。
- [Actor-Critic：A2C / A3C](https://dqn.cn/advanced/actor-critic)：λ-回报与基线的基础。
- [SAC](https://dqn.cn/advanced/sac)：另一种用熵正则平衡探索的方法。

## 参考文献

- Hafner, D., Pasukonis, J., Ba, J., & Lillicrap, T. (2025). Mastering diverse control tasks through world models. *Nature*, 640, 647–653. [doi:10.1038/s41586-025-08744-2](https://doi.org/10.1038/s41586-025-08744-2) · 预印本 [arXiv:2301.04104](https://arxiv.org/abs/2301.04104)
- Hafner, D., Lillicrap, T., Ba, J., & Norouzi, M. (2020). Dream to Control: Learning Behaviors by Latent Imagination. *ICLR*. [arXiv:1912.01603](https://arxiv.org/abs/1912.01603)
- Hafner, D., Lillicrap, T., Norouzi, M., & Ba, J. (2021). Mastering Atari with Discrete World Models. *ICLR*. [arXiv:2010.02193](https://arxiv.org/abs/2010.02193)
- Hafner, D., Lillicrap, T., Fischer, I., et al. (2019). Learning Latent Dynamics for Planning from Pixels. *ICML*. [arXiv:1811.04551](https://arxiv.org/abs/1811.04551)

## 如何引用本文

DQN.CN 编辑部. 【论文速递】DreamerV3：一套超参数通吃 150 多个任务的世界模型[EB/OL]. DQN.CN, 2026-10-28（更新于 2026-10-30）. https://dqn.cn/papers/2026-10-dreamerv3.