DPO 与 RLHF 对比演示：同一份偏好数据的两条路线

两条路线

RLHF：先用偏好数据训练奖励模型（Bradley–Terry 模型）

$$\underset{\varphi }{max}\sum _{(y_w,y_l)}\log \sigma (r_{\varphi }(y_w)-r_{\varphi }(y_l))$$

再用 PPO 优化 $\underset{\pi }{max}{\mathbb{E}}_{y\sim \pi }[r_{\varphi }(y)]-\beta \mathrm{KL}(\pi \parallel {\pi }_{ref})$。这里的玩具问题只有 4 个回答，策略是表格型 softmax，所以第二步可以直接用精确梯度，结果等价于 PPO 收敛后的策略。

DPO：KL 正则目标的最优解满足 $r(y)=\beta \log \frac{{\pi }^{\ast }(y)}{{\pi }_{ref}(y)}+\beta \log Z$，代入 Bradley–Terry 模型，配分函数 $Z$ 在两两比较中抵消，得到只依赖策略的损失

$${\mathcal{L}}_{DPO}=-\sum _{(y_w,y_l)}\log \sigma (\beta \log \frac{{\pi }_{\theta }(y_w)}{{\pi }_{ref}(y_w)}-\beta \log \frac{{\pi }_{\theta }(y_l)}{{\pi }_{ref}(y_l)})$$

可以试试

• 默认 β ≈ 0.32：两种方法的最终概率在小数点后两三位上都一致，右下表中奖励模型的奖励与 DPO 的隐式奖励也几乎相同。
• β 拖到最小：两种方法都把几乎全部概率给了 A；β 拖到最大：几乎不偏离参考模型。
• 选“标注噪声大”：偏好接近五五开，奖励差异很小，策略只轻微偏离参考模型。
• 选“数据很少”：每对只比较一次，极大似然把输家的概率压到接近 0（过拟合）。
• 这个等价性只在“表格型、精确优化、同一份数据”时严格成立。真实大模型中，RLHF 的 PPO 阶段会在新采样的回答上查询奖励模型（在线），DPO 只用固定的离线数据，两者的泛化行为并不相同。

相关教程

• 大模型中的强化学习
• DPO 论文解读
• 全部交互工具