【论文速递】DPO：你的语言模型其实是一个奖励模型

论文信息

项目	内容
标题	Direct Preference Optimization: Your Language Model is Secretly a Reward Model
作者	Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn
机构	Stanford University、CZ Biohub
发表	NeurIPS 2023
链接	arXiv:2305.18290
关键词	RLHF、偏好学习、Bradley-Terry 模型、KL 约束

一句话总结

RLHF 的标准目标（最大化奖励、同时用 KL 约束不偏离参考模型）有一个闭式最优解；把奖励函数用策略本身重新参数化后代入偏好模型，就得到一个只需要偏好数据和参考模型的简单二分类损失——不用训练单独的奖励模型、不用在训练中采样、也不用 PPO。

背景：RLHF 的三阶段流水线

经典的 RLHF（Christiano 等 2017；Stiennon 等 2020；Ouyang 等 2022）分为：

1. SFT：在高质量示范数据上监督微调，得到 ${\pi }^{\text{SFT}}$；
2. 奖励建模：对同一提示 $x$ 的两个回答，人类标注偏好 $y_w\succ y_l$，用 Bradley-Terry 模型拟合奖励 $r_{\varphi }$：

$$p(y_w\succ y_l\mid x)=\sigma (r(x,y_w)-r(x,y_l))$$

3. RL 微调：用 PPO 优化

$$\underset{{\pi }_{\theta }}{max}{\mathbb{E}}_{x\sim D,y\sim {\pi }_{\theta }(y|x)}[r_{\varphi }(x,y)]-\beta {\mathrm{D}}_{\mathrm{KL}}[{\pi }_{\theta }(y|x)\parallel {\pi }_{\text{ref}}(y|x)]$$

第 3 步需要同时维护策略、参考模型、奖励模型和价值网络，训练中要不断从语言模型采样，工程复杂、对超参数敏感、容易不稳定。

核心方法

1. KL 约束目标的闭式最优解

对任意奖励函数 $r$，上述目标的最优策略为

$${\pi }_r(y\mid x)=\frac{1}{Z(x)}{\pi }_{\text{ref}}(y\mid x)\exp (\frac{1}{\beta }r(x,y)),Z(x)=\sum _y{\pi }_{\text{ref}}(y\mid x)\exp (\frac{1}{\beta }r(x,y))$$

$Z(x)$ 要对所有可能的回答求和，无法直接计算，所以不能直接用这个式子得到策略。

2. 关键一步：用策略表示奖励

对上式取对数并整理：

$$r(x,y)=\beta \log \frac{{\pi }_r(y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}+\beta \log Z(x)$$

把它代入 Bradley-Terry 模型，$\beta \log Z(x)$ 只与 $x$ 有关，在两个回答的奖励之差中被消掉了：

$$p^{\ast }(y_w\succ y_l\mid x)=\sigma (\beta \log \frac{{\pi }^{\ast }(y_w\mid x)}{{\pi }_{\text{ref}}(y_w\mid x)}-\beta \log \frac{{\pi }^{\ast }(y_l\mid x)}{{\pi }_{\text{ref}}(y_l\mid x)})$$

3. DPO 损失

于是可以直接对策略 ${\pi }_{\theta }$ 做最大似然：

$${\mathcal{L}}_{\text{DPO}}({\pi }_{\theta };{\pi }_{\text{ref}})=-{\mathbb{E}}_{(x,y_w,y_l)\sim D}[\log \sigma (\beta \log \frac{{\pi }_{\theta }(y_w\mid x)}{{\pi }_{\text{ref}}(y_w\mid x)}-\beta \log \frac{{\pi }_{\theta }(y_l\mid x)}{{\pi }_{\text{ref}}(y_l\mid x)})]$$

记隐式奖励 ${\hat{r}}_{\theta }(x,y)=\beta \log \frac{{\pi }_{\theta }(y|x)}{{\pi }_{\text{ref}}(y|x)}$，其梯度为

$${\mathrm{\nabla }}_{\theta }{\mathcal{L}}_{\text{DPO}}=-\beta \mathbb{E}[\underset{\text{隐式奖励排错时权重大}}{\underbrace{\sigma ({\hat{r}}_{\theta }(x,y_l)-{\hat{r}}_{\theta }(x,y_w))}}({\mathrm{\nabla }}_{\theta }\log \pi (y_w\mid x)-{\mathrm{\nabla }}_{\theta }\log \pi (y_l\mid x))]$$

它提高偏好回答的概率、降低被拒回答的概率，并且按样本加权：隐式奖励模型越是排错，权重越大。论文指出，去掉这个权重的朴素版本（类似 Unlikelihood）会导致模型退化。

输入：偏好数据 D = {(x, y_w, y_l)}，参考模型 π_ref（通常是 SFT 模型），β
π_θ ← π_ref
for 每个小批量:
    logr_w = log π_θ(y_w|x) − log π_ref(y_w|x)     # 对回答中所有 token 的 log 概率求和
    logr_l = log π_θ(y_l|x) − log π_ref(y_l|x)
    loss = −log σ(β · (logr_w − logr_l))
    对 θ 做一步梯度下降

4. 理论要点

• 论文证明，在 Plackett-Luce（含 Bradley-Terry）偏好模型下，所有与偏好一致的奖励等价类都可以用这种重参数化表示，因此 DPO 没有损失一般性；
• “你的语言模型其实是一个奖励模型”：训练后的 $\beta \log \frac{{\pi }_{\theta }}{{\pi }_{\text{ref}}}$ 就是一个隐式奖励函数。

关键实验结论

• 受控情感生成（IMDb，GPT-2-large）：以情感分类器为真实奖励，比较“期望奖励 vs 与参考策略的 KL”前沿。DPO 在所有 KL 水平上都取得最高的期望奖励，优于 PPO，甚至优于能直接访问真实奖励的 PPO-GT。
• 摘要（Reddit TL;DR，基于 GPT-J 的 SFT 模型）：以 GPT-4 评估相对人工参考摘要的胜率，DPO 在温度 0 时约 61%，超过 PPO 在其最佳温度（同为 0）时的约 57%；DPO 对采样温度也更鲁棒。人工评估中，DPO（温度 0.25）的样本有 58% 的情况下比 PPO（温度 0）更受青睐。
• 单轮对话（Anthropic HH，Pythia-2.8B）：在该测试集上，DPO 是唯一一个相对数据集中“被选中回答”有提升的方法，表现与 Best-of-128 相当或更好。
• 分布外泛化：把 TL;DR 上训练的模型用于 CNN/DailyMail 新闻摘要，DPO 的 GPT-4 胜率仍高于 PPO（温度 0 时 0.36 对 0.26）。
• 作者特别说明没有认真调 DPO 的 $\beta$，结果可能低估了 DPO 的潜力。

优点与局限

优点

• 实现极简：一个分类损失，只需策略和冻结的参考模型两个网络，训练中不需要采样；
• 稳定、计算开销小，迅速成为开源大模型对齐的标配方法之一。

局限

• 离线：只在固定偏好数据上训练，不能像在线 RL 那样从自己新生成的回答中探索和改进；后续出现了在线 / 迭代 DPO 等变体；
• 可能过拟合偏好数据：当偏好是确定性的，隐式奖励差可以被推向无穷，KL 正则实际上失效（Azar 等人提出的 IPO 对此进行了分析）；
• 被拒绝和被偏好回答的概率可能同时下降，引发对“似然位移”的讨论；
• 对需要可验证奖励的推理任务（数学、代码），在线 RL 方法（如 GRPO）往往更合适。

与本站教程的联系

• RLHF 与大模型中的 RL：系统介绍 RLHF 流水线、PPO、DPO 与 GRPO，并用玩具“问答”实测了 DPO 的训练过程。
• PPO：DPO 要替代的 RL 优化器。
• 模仿学习：偏好学习与逆强化学习的思想联系。

参考文献

• Rafailov, R., Sharma, A., Mitchell, E., Ermon, S., Manning, C. D., & Finn, C. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS. arXiv:2305.18290
• Christiano, P., Leike, J., Brown, T. B., et al. (2017). Deep Reinforcement Learning from Human Preferences. NeurIPS. arXiv:1706.03741
• Stiennon, N., Ouyang, L., Wu, J., et al. (2020). Learning to Summarize from Human Feedback. NeurIPS. arXiv:2009.01325
• Ouyang, L., Wu, J., Jiang, X., et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS. arXiv:2203.02155
• Azar, M. G., Rowland, M., Piot, B., et al. (2024). A General Theoretical Paradigm to Understand Learning from Human Preferences. AISTATS. arXiv:2310.12036