# 策略梯度与基线：REINFORCE 在概率单纯形上的轨迹

> 来源：https://dqn.cn/tools/policy-gradient ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/policy-gradient）

## 设定

三个动作的期望奖励为 $c$、$c+0.5$、$c+1$，加上标准差为 1 的噪声。策略 $\pi_\theta(a) = \mathrm{softmax}(\theta)_a$，从 $\theta = 0$（均匀策略）开始。REINFORCE 的单样本梯度估计为

$$
\hat g = \big(r - b\big)\, \nabla_\theta \log \pi_\theta(a), \qquad \nabla_\theta \log \pi_\theta(a) = e_a - \pi_\theta
$$

左边 $b = 0$（无基线），右边 $b$ 取最近奖励的滑动平均。因为 $\mathbb{E}_{a\sim\pi}[\nabla_\theta \log \pi_\theta(a)] = 0$，任何不依赖动作的 $b$ 都不改变梯度期望，但能大幅降低方差。

## 可以试试

- c = 0：两组轨迹相差不大。
- c = 5（默认）：无基线的轨迹明显更“乱撞”，常常先冲向被碰巧选中的顶点；每个面板下方显示了初始点处梯度估计的方差，无基线大约是有基线的十几倍。
- c = 20：无基线的方差再大上一个数量级，有的轨迹会锁死在次优顶点，而有基线的轨迹几乎不受影响——奖励的绝对大小对它无关紧要。
- 调大学习率：无基线更容易发散到错误的顶点。

## 相关教程

- [REINFORCE](https://dqn.cn/advanced/reinforce)
- [Actor-Critic](https://dqn.cn/advanced/actor-critic)
- [全部交互工具](https://dqn.cn/tools/)