【论文速递】DreamerV3：一套超参数通吃 150 多个任务的世界模型

论文信息

项目	内容
标题	Mastering Diverse Domains through World Models（Nature 正式版标题为 Mastering diverse control tasks through world models）
作者	Danijar Hafner, Jurgis Pasukonis, Jimmy Ba, Timothy Lillicrap
机构	Google DeepMind、University of Toronto
发表	arXiv 2023；Nature 640, 647–653, 2025
链接	arXiv:2301.04104 · Nature
关键词	基于模型的 RL、世界模型、RSSM、想象训练、稳健性

一句话总结

DreamerV3 学习一个环境的世界模型，然后完全在模型“想象”出的轨迹上训练 Actor 和 Critic；借助一组针对数值尺度的稳健化技巧，它用同一套超参数在 150 多个跨领域任务上超过了各领域专门调优的算法，并成为第一个不借助人类数据或课程、从零开始在 Minecraft 中挖到钻石的算法。

背景：调参是 RL 落地的隐形门槛

现有 RL 算法在“与开发时相似”的任务上表现不错，但换到新领域往往需要大量专家经验和实验来重新调参。不同环境的奖励尺度、观测类型（图像 / 向量）、动作类型（离散 / 连续）、奖励稀疏程度差异巨大。DreamerV3 的目标不是在单个基准上刷到最高分，而是做一个开箱即用的通用算法。

核心方法

1. 世界模型（RSSM）

世界模型把观测 $x_t$ 编码为离散的随机表示 $z_t$，用带确定性循环状态 $h_t$ 的序列模型预测未来：

$$\begin{array}{rlrl}& \text{序列模型：}& & h_t=f_{\varphi }(h_{t-1},z_{t-1},a_{t-1})\\ & \text{编码器：}& & z_t\sim q_{\varphi }(z_t\mid h_t,x_t)\\ & \text{动态预测器：}& & {\hat{z}}_t\sim p_{\varphi }({\hat{z}}_t\mid h_t)\\ & \text{奖励 / 继续 / 解码器：}& & {\hat{r}}_t\sim p_{\varphi }(\cdot \mid h_t,z_t),{\hat{c}}_t\sim p_{\varphi }(\cdot \mid h_t,z_t),{\hat{x}}_t\sim p_{\varphi }(\cdot \mid h_t,z_t)\end{array}$$

训练损失为 $\mathcal{L}(\varphi )=\mathbb{E}[\sum _t{\beta }_{\text{pred}}{\mathcal{L}}_{\text{pred}}+{\beta }_{\text{dyn}}{\mathcal{L}}_{\text{dyn}}+{\beta }_{\text{rep}}{\mathcal{L}}_{\text{rep}}]$，权重为 ${\beta }_{\text{pred}}=1,{\beta }_{\text{dyn}}=1,{\beta }_{\text{rep}}=0.1$：

$${\mathcal{L}}_{\text{dyn}}=max(1,\mathrm{KL}[\mathrm{sg}(q_{\varphi }(z_t\mid h_t,x_t))\parallel p_{\varphi }(z_t\mid h_t)]),{\mathcal{L}}_{\text{rep}}=max(1,\mathrm{KL}[q_{\varphi }(z_t\mid h_t,x_t)\parallel \mathrm{sg}(p_{\varphi }(z_t\mid h_t))])$$

$\mathrm{sg}$ 为停止梯度。两项 KL 用不同权重（KL 平衡）：主要让动态预测器去拟合表示，只轻微地让表示变得更可预测；低于 1 nat 时截断（free bits），避免表示退化为“容易预测但没有信息”。

2. 在想象中学习行为

Actor 和 Critic 只在世界模型展开的想象轨迹上训练（从回放数据中的状态出发，向前想象 $T=16$ 步，折扣 $\gamma =0.997$）。Critic 学习 λ-回报的分布：

$$R_t^{\lambda }=r_t+\gamma c_t((1-\lambda )v_t+\lambda R_{t+1}^{\lambda }),R_T^{\lambda }=v_T$$

Actor 对离散和连续动作都使用 REINFORCE 估计量，并带固定的熵正则 $\eta =3\times {10}^{-4}$：

$$\mathcal{L}(\theta )=-\sum _{t=1}^T\mathrm{sg}(\frac{R_t^{\lambda }-v_{\psi }(s_t)}{max(1,S)})\log {\pi }_{\theta }(a_t\mid s_t)+\eta \mathrm{H}[{\pi }_{\theta }(a_t\mid s_t)]$$

3. 让固定超参数跨领域工作的稳健化技巧

• 回报百分位归一化：$S=\mathrm{EMA}(\mathrm{Per}(R^{\lambda },95)-\mathrm{Per}(R^{\lambda },5),0.99)$。只缩小过大的回报（除以 $max(1,S)$），不放大小回报，这样稀疏奖励时不会放大噪声，熵系数可以全局固定。
• symlog 变换：$\mathrm{symlog}(x)=\mathrm{sign}(x)\ln (|x|+1)$，用于向量观测的编码和预测目标，压缩大数值同时保持小数值近似不变。
• symexp twohot 损失：奖励和价值头输出指数间隔分箱上的分类分布，用加权平均读出连续值；梯度尺度与目标数值大小解耦。
• 1% unimix：编码器和动态预测器的分类分布混合 1% 的均匀分布，避免分布变得确定性导致 KL 损失爆炸。
• 其他：RMSNorm、SiLU、Block GRU 结构，自适应梯度裁剪（AGC）与 LaProp 优化器等。

关键实验结论

• 广泛的基准，同一配置：Atari（57 款）、Atari100k、ProcGen、DMLab、本体感知与视觉连续控制、BSuite、Minecraft 等，覆盖 150 多个任务。使用固定超参数，Dreamer 在各领域上超过了专门调优的专家算法，也大幅超过高质量的 PPO 实现。
• Minecraft 钻石：在稀疏奖励、长时程、程序生成的开放世界中，第一个从零开始（无人类数据、无课程）挖到钻石的算法。
• 扩展性：在 Crafter 和 DMLab 上训练 1200 万到 4 亿参数的 6 种模型，更大的模型不仅最终性能更高，而且需要的环境交互更少；提高回放比例（每步的梯度更新次数）也能可预期地提升性能。
• 消融：去掉各项稳健化技巧（symlog、回报归一化、twohot、KL 平衡与 free bits）都会降低性能；学习信号主要来自世界模型的无监督重建损失，而非奖励和价值梯度——这暗示未来可以利用无标签数据预训练。

优点与局限

优点

• 真正意义上的“开箱即用”，大幅降低了把 RL 用于新领域的门槛；
• 基于模型，样本效率高；
• 一系列稳健化技巧（symlog、twohot、百分位归一化等）独立于 Dreamer 也很有借鉴价值，已被许多后续工作采用。

局限

• 实现复杂，组件众多，从零复现的工程量远大于 PPO、SAC；
• 世界模型和想象训练的计算开销大，训练速度（墙钟时间）通常慢于无模型方法；
• 在需要精确长程规划的任务上，“只学习策略、不做搜索”的方式可能不如 MuZero 一类基于搜索的方法；
• “超过专家算法”是在各领域的平均意义上，具体到单个任务未必最优。

与本站教程的联系

• 基于模型的强化学习：介绍 Dyna、MBPO、World Models、Dreamer、MuZero 的思路，并用 Dyna-Q 在迷宫上实测了“规划步数”对样本效率的影响。
• Actor-Critic：A2C / A3C：λ-回报与基线的基础。
• SAC：另一种用熵正则平衡探索的方法。

参考文献

• Hafner, D., Pasukonis, J., Ba, J., & Lillicrap, T. (2025). Mastering diverse control tasks through world models. Nature, 640, 647–653. doi:10.1038/s41586-025-08744-2 · 预印本 arXiv:2301.04104
• Hafner, D., Lillicrap, T., Ba, J., & Norouzi, M. (2020). Dream to Control: Learning Behaviors by Latent Imagination. ICLR. arXiv:1912.01603
• Hafner, D., Lillicrap, T., Norouzi, M., & Ba, J. (2021). Mastering Atari with Discrete World Models. ICLR. arXiv:2010.02193
• Hafner, D., Lillicrap, T., Fischer, I., et al. (2019). Learning Latent Dynamics for Planning from Pixels. ICML. arXiv:1811.04551