# 策略梯度的方差：为什么要减去基线

> 来源：https://dqn.cn/tools/pg-variance ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/pg-variance）

## 基线不改变期望

对任意不依赖于动作的基线 $b$：

$$
\mathbb{E}_{a \sim \pi}\big[b \,\nabla_\theta \log \pi_\theta(a)\big] = b \sum_a \nabla_\theta \pi_\theta(a) = b\, \nabla_\theta 1 = 0
$$

所以 $(R - b)\nabla \log\pi$ 与 $R\,\nabla\log\pi$ 的期望相同。但方差不同：所有奖励都很大（例如都是正的）时，不减基线会让每个被采到的动作的概率都上升，只是“升多升少”的区别，梯度估计噪声很大。

## 可以试试

- 偏移 c = 0 时两者差别不大；c = 10 时无基线的直方图宽得多。
- c = −10：所有奖励为负，无基线的估计同样很差。
- 噪声 σ 调大：两种估计的方差都上升，但基线仍然有效。

## 相关教程

- [REINFORCE：基线](https://dqn.cn/advanced/reinforce)
- [全部交互工具](https://dqn.cn/tools/)