# DPO 与 RLHF 对比演示：同一份偏好数据的两条路线

> 来源：https://dqn.cn/tools/dpo-vs-rlhf ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/dpo-vs-rlhf）

## 两条路线

**RLHF**：先用偏好数据训练奖励模型（Bradley–Terry 模型）

$$
\max_\phi \sum_{(y_w, y_l)} \log \sigma\big(r_\phi(y_w) - r_\phi(y_l)\big)
$$

再用 PPO 优化 $\max_\pi \mathbb{E}_{y\sim\pi}[r_\phi(y)] - \beta\,\mathrm{KL}(\pi\,\|\,\pi_{ref})$。这里的玩具问题只有 4 个回答，策略是表格型 softmax，所以第二步可以直接用精确梯度，结果等价于 PPO 收敛后的策略。

**DPO**：KL 正则目标的最优解满足 $r(y) = \beta \log \frac{\pi^*(y)}{\pi_{ref}(y)} + \beta\log Z$，代入 Bradley–Terry 模型，配分函数 $Z$ 在两两比较中抵消，得到只依赖策略的损失

$$
\mathcal{L}_{DPO} = -\sum_{(y_w, y_l)} \log \sigma\Big(\beta \log \frac{\pi_\theta(y_w)}{\pi_{ref}(y_w)} - \beta \log \frac{\pi_\theta(y_l)}{\pi_{ref}(y_l)}\Big)
$$

## 可以试试

- 默认 β ≈ 0.32：两种方法的最终概率在小数点后两三位上都一致，右下表中奖励模型的奖励与 DPO 的隐式奖励也几乎相同。
- β 拖到最小：两种方法都把几乎全部概率给了 A；β 拖到最大：几乎不偏离参考模型。
- 选“标注噪声大”：偏好接近五五开，奖励差异很小，策略只轻微偏离参考模型。
- 选“数据很少”：每对只比较一次，极大似然把输家的概率压到接近 0（过拟合）。
- 这个等价性只在“表格型、精确优化、同一份数据”时严格成立。真实大模型中，RLHF 的 PPO 阶段会在新采样的回答上查询奖励模型（在线），DPO 只用固定的离线数据，两者的泛化行为并不相同。

## 相关教程

- [大模型中的强化学习](https://dqn.cn/advanced/rlhf-llm)
- [DPO 论文解读](https://dqn.cn/papers/2026-10-dpo)
- [全部交互工具](https://dqn.cn/tools/)