# 【论文速递】DPO：你的语言模型其实是一个奖励模型

> 来源：https://dqn.cn/papers/2026-10-dpo ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-10-22 ｜ 更新：2026-10-30 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

## 论文信息

| 项目 | 内容 |
| --- | --- |
| 标题 | *Direct Preference Optimization: Your Language Model is Secretly a Reward Model* |
| 作者 | Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn |
| 机构 | Stanford University、CZ Biohub |
| 发表 | NeurIPS 2023 |
| 链接 | [arXiv:2305.18290](https://arxiv.org/abs/2305.18290) |
| 关键词 | RLHF、偏好学习、Bradley-Terry 模型、KL 约束 |

## 一句话总结

RLHF 的标准目标（最大化奖励、同时用 KL 约束不偏离参考模型）有一个闭式最优解；把奖励函数**用策略本身重新参数化**后代入偏好模型，就得到一个只需要偏好数据和参考模型的简单二分类损失——不用训练单独的奖励模型、不用在训练中采样、也不用 PPO。

## 背景：RLHF 的三阶段流水线

经典的 RLHF（Christiano 等 2017；Stiennon 等 2020；Ouyang 等 2022）分为：

1. **SFT**：在高质量示范数据上监督微调，得到 $\pi^\text{SFT}$；
2. **奖励建模**：对同一提示 $x$ 的两个回答，人类标注偏好 $y_w \succ y_l$，用 Bradley-Terry 模型拟合奖励 $r_\phi$：
$$
p(y_w \succ y_l \mid x) = \sigma\big(r(x,y_w) - r(x,y_l)\big)
$$
3. **RL 微调**：用 PPO 优化
$$
\max_{\pi_\theta}\ \mathbb{E}_{x\sim D, y\sim\pi_\theta(y|x)}\big[r_\phi(x,y)\big] - \beta\,\mathrm{D_{KL}}\big[\pi_\theta(y|x)\,\|\,\pi_\text{ref}(y|x)\big]
$$

第 3 步需要同时维护策略、参考模型、奖励模型和价值网络，训练中要不断从语言模型采样，工程复杂、对超参数敏感、容易不稳定。

## 核心方法

### 1. KL 约束目标的闭式最优解

对任意奖励函数 $r$，上述目标的最优策略为

$$
\pi_r(y \mid x) = \frac{1}{Z(x)}\,\pi_\text{ref}(y \mid x)\exp\Big(\frac{1}{\beta}r(x,y)\Big),\qquad Z(x) = \sum_y \pi_\text{ref}(y \mid x)\exp\Big(\frac{1}{\beta}r(x,y)\Big)
$$

$Z(x)$ 要对所有可能的回答求和，无法直接计算，所以不能直接用这个式子得到策略。

### 2. 关键一步：用策略表示奖励

对上式取对数并整理：

$$
r(x,y) = \beta\log\frac{\pi_r(y \mid x)}{\pi_\text{ref}(y \mid x)} + \beta\log Z(x)
$$

把它代入 Bradley-Terry 模型，**$\beta\log Z(x)$ 只与 $x$ 有关，在两个回答的奖励之差中被消掉了**：

$$
p^*(y_w \succ y_l \mid x) = \sigma\Big(\beta\log\frac{\pi^*(y_w \mid x)}{\pi_\text{ref}(y_w \mid x)} - \beta\log\frac{\pi^*(y_l \mid x)}{\pi_\text{ref}(y_l \mid x)}\Big)
$$

### 3. DPO 损失

于是可以直接对策略 $\pi_\theta$ 做最大似然：

$$
\mathcal{L}_\text{DPO}(\pi_\theta;\pi_\text{ref}) = -\mathbb{E}_{(x,y_w,y_l)\sim D}\Big[\log\sigma\Big(\beta\log\frac{\pi_\theta(y_w \mid x)}{\pi_\text{ref}(y_w \mid x)} - \beta\log\frac{\pi_\theta(y_l \mid x)}{\pi_\text{ref}(y_l \mid x)}\Big)\Big]
$$

记隐式奖励 $\hat r_\theta(x,y) = \beta\log\frac{\pi_\theta(y|x)}{\pi_\text{ref}(y|x)}$，其梯度为

$$
\nabla_\theta\mathcal{L}_\text{DPO} = -\beta\,\mathbb{E}\Big[\underbrace{\sigma\big(\hat r_\theta(x,y_l) - \hat r_\theta(x,y_w)\big)}_{\text{隐式奖励排错时权重大}}\Big(\nabla_\theta\log\pi(y_w \mid x) - \nabla_\theta\log\pi(y_l \mid x)\Big)\Big]
$$

它提高偏好回答的概率、降低被拒回答的概率，并且**按样本加权**：隐式奖励模型越是排错，权重越大。论文指出，去掉这个权重的朴素版本（类似 Unlikelihood）会导致模型退化。

```text
输入：偏好数据 D = {(x, y_w, y_l)}，参考模型 π_ref（通常是 SFT 模型），β
π_θ ← π_ref
for 每个小批量:
    logr_w = log π_θ(y_w|x) − log π_ref(y_w|x)     # 对回答中所有 token 的 log 概率求和
    logr_l = log π_θ(y_l|x) − log π_ref(y_l|x)
    loss = −log σ(β · (logr_w − logr_l))
    对 θ 做一步梯度下降
```

### 4. 理论要点

- 论文证明，在 Plackett-Luce（含 Bradley-Terry）偏好模型下，所有与偏好一致的奖励等价类都可以用这种重参数化表示，因此 DPO 没有损失一般性；
- “你的语言模型其实是一个奖励模型”：训练后的 $\beta\log\frac{\pi_\theta}{\pi_\text{ref}}$ 就是一个隐式奖励函数。

## 关键实验结论

- **受控情感生成（IMDb，GPT-2-large）**：以情感分类器为真实奖励，比较“期望奖励 vs 与参考策略的 KL”前沿。DPO 在所有 KL 水平上都取得最高的期望奖励，优于 PPO，甚至优于能直接访问真实奖励的 PPO-GT。
- **摘要（Reddit TL;DR，基于 GPT-J 的 SFT 模型）**：以 GPT-4 评估相对人工参考摘要的胜率，DPO 在温度 0 时约 **61%**，超过 PPO 在其最佳温度（同为 0）时的约 **57%**；DPO 对采样温度也更鲁棒。人工评估中，DPO（温度 0.25）的样本有 58% 的情况下比 PPO（温度 0）更受青睐。
- **单轮对话（Anthropic HH，Pythia-2.8B）**：在该测试集上，DPO 是唯一一个相对数据集中“被选中回答”有提升的方法，表现与 Best-of-128 相当或更好。
- **分布外泛化**：把 TL;DR 上训练的模型用于 CNN/DailyMail 新闻摘要，DPO 的 GPT-4 胜率仍高于 PPO（温度 0 时 0.36 对 0.26）。
- 作者特别说明没有认真调 DPO 的 $\beta$，结果可能低估了 DPO 的潜力。

## 优点与局限

**优点**

- 实现极简：一个分类损失，只需策略和冻结的参考模型两个网络，训练中不需要采样；
- 稳定、计算开销小，迅速成为开源大模型对齐的标配方法之一。

**局限**

- **离线**：只在固定偏好数据上训练，不能像在线 RL 那样从自己新生成的回答中探索和改进；后续出现了在线 / 迭代 DPO 等变体；
- 可能过拟合偏好数据：当偏好是确定性的，隐式奖励差可以被推向无穷，KL 正则实际上失效（Azar 等人提出的 IPO 对此进行了分析）；
- 被拒绝和被偏好回答的概率可能同时下降，引发对“似然位移”的讨论；
- 对需要可验证奖励的推理任务（数学、代码），在线 RL 方法（如 [GRPO](https://dqn.cn/papers/2026-10-deepseekmath-grpo)）往往更合适。

## 与本站教程的联系

- [RLHF 与大模型中的 RL](https://dqn.cn/advanced/rlhf-llm)：系统介绍 RLHF 流水线、PPO、DPO 与 GRPO，并用玩具“问答”实测了 DPO 的训练过程。
- [PPO](https://dqn.cn/advanced/ppo)：DPO 要替代的 RL 优化器。
- [模仿学习](https://dqn.cn/advanced/imitation-learning)：偏好学习与逆强化学习的思想联系。

## 参考文献

- Rafailov, R., Sharma, A., Mitchell, E., Ermon, S., Manning, C. D., & Finn, C. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. *NeurIPS*. [arXiv:2305.18290](https://arxiv.org/abs/2305.18290)
- Christiano, P., Leike, J., Brown, T. B., et al. (2017). Deep Reinforcement Learning from Human Preferences. *NeurIPS*. [arXiv:1706.03741](https://arxiv.org/abs/1706.03741)
- Stiennon, N., Ouyang, L., Wu, J., et al. (2020). Learning to Summarize from Human Feedback. *NeurIPS*. [arXiv:2009.01325](https://arxiv.org/abs/2009.01325)
- Ouyang, L., Wu, J., Jiang, X., et al. (2022). Training Language Models to Follow Instructions with Human Feedback. *NeurIPS*. [arXiv:2203.02155](https://arxiv.org/abs/2203.02155)
- Azar, M. G., Rowland, M., Piot, B., et al. (2024). A General Theoretical Paradigm to Understand Learning from Human Preferences. *AISTATS*. [arXiv:2310.12036](https://arxiv.org/abs/2310.12036)

## 如何引用本文

DQN.CN 编辑部. 【论文速递】DPO：你的语言模型其实是一个奖励模型[EB/OL]. DQN.CN, 2026-10-22（更新于 2026-10-30）. https://dqn.cn/papers/2026-10-dpo.