GRPO 组内相对优势与 RLHF 中的 KL 惩罚可视化

GRPO 的优势

对同一个提示 $q$ 采样 $G$ 个回答 $o_{1}, \dots, o_{G}$ ，得到奖励 $r_{1}, \dots, r_{G}$ ，GRPO 用组内标准化代替价值网络：

{\hat{A}}_{i} = \frac{r_{i} - mean (r_{1}, \dots, r_{G})}{std (r_{1}, \dots, r_{G})}

这个优势被赋给回答 $o_{i}$ 的每一个 token，再代入 PPO 式的裁剪目标。整组奖励相同时（全对或全错）优势全为 0，这道题不产生梯度。

KL 正则化目标的最优解

RLHF 的目标 $max_{π} E_{y \sim π} [r (y)] - β KL (π ∥ π_{r e f})$ 有闭式最优解

π^{*} (y) = \frac{1}{Z} π_{r e f} (y) \exp (r (y) / β)

DPO 正是从这个式子出发推导出来的。β 决定了“相信奖励模型”和“相信参考模型”之间的权衡：奖励模型在参考模型很少生成的回答上往往不可靠，β 太小会让策略专门去钻这些漏洞。

可以试试

点“全部答对”或“全部答错”：所有优势变为 0。
把组大小调到 2：优势只有 ±1 两种取值，信号很粗；组越大，估计越平滑。
取消“除以组标准差”：优势的尺度随题目难度变化（Dr. GRPO 等工作讨论了是否应该除以标准差）。
把 β 从 1 往下拖：期望奖励不断上升，但到 β < 0.1 时策略几乎只输出“讨好用语”——奖励分数最高，回答质量却最差。

相关教程