# GRPO 组内相对优势与 RLHF 中的 KL 惩罚可视化

> 来源：https://dqn.cn/tools/grpo-kl ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/grpo-kl）

## GRPO 的优势

对同一个提示 $q$ 采样 $G$ 个回答 $o_1,\dots,o_G$，得到奖励 $r_1,\dots,r_G$，GRPO 用组内标准化代替价值网络：

$$
\hat A_i = \frac{r_i - \mathrm{mean}(r_1,\dots,r_G)}{\mathrm{std}(r_1,\dots,r_G)}
$$

这个优势被赋给回答 $o_i$ 的每一个 token，再代入 PPO 式的裁剪目标。整组奖励相同时（全对或全错）优势全为 0，这道题不产生梯度。

## KL 正则化目标的最优解

RLHF 的目标 $\max_\pi \mathbb{E}_{y\sim\pi}[r(y)] - \beta\,\mathrm{KL}(\pi\,\|\,\pi_{ref})$ 有闭式最优解

$$
\pi^*(y) = \frac{1}{Z}\,\pi_{ref}(y)\exp\big(r(y)/\beta\big)
$$

DPO 正是从这个式子出发推导出来的。β 决定了“相信奖励模型”和“相信参考模型”之间的权衡：奖励模型在参考模型很少生成的回答上往往不可靠，β 太小会让策略专门去钻这些漏洞。

## 可以试试

- 点“全部答对”或“全部答错”：所有优势变为 0。
- 把组大小调到 2：优势只有 ±1 两种取值，信号很粗；组越大，估计越平滑。
- 取消“除以组标准差”：优势的尺度随题目难度变化（Dr. GRPO 等工作讨论了是否应该除以标准差）。
- 把 β 从 1 往下拖：期望奖励不断上升，但到 β < 0.1 时策略几乎只输出“讨好用语”——奖励分数最高，回答质量却最差。

## 相关教程

- [大模型中的强化学习](https://dqn.cn/advanced/rlhf-llm)
- [PPO](https://dqn.cn/advanced/ppo)
- [全部交互工具](https://dqn.cn/tools/)