策略梯度与基线：REINFORCE 在概率单纯形上的轨迹

设定

三个动作的期望奖励为 $c$、$c+0.5$、$c+1$，加上标准差为 1 的噪声。策略 ${\pi }_{\theta }(a)=\mathrm{softmax}(\theta {)}_a$，从 $\theta =0$（均匀策略）开始。REINFORCE 的单样本梯度估计为

$$\hat{g}=(r-b){\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(a),{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(a)=e_a-{\pi }_{\theta }$$

左边 $b=0$（无基线），右边 $b$ 取最近奖励的滑动平均。因为 ${\mathbb{E}}_{a\sim \pi }[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(a)]=0$，任何不依赖动作的 $b$ 都不改变梯度期望，但能大幅降低方差。

可以试试

• c = 0：两组轨迹相差不大。
• c = 5（默认）：无基线的轨迹明显更“乱撞”，常常先冲向被碰巧选中的顶点；每个面板下方显示了初始点处梯度估计的方差，无基线大约是有基线的十几倍。
• c = 20：无基线的方差再大上一个数量级，有的轨迹会锁死在次优顶点，而有基线的轨迹几乎不受影响——奖励的绝对大小对它无关紧要。
• 调大学习率：无基线更容易发散到错误的顶点。

相关教程

• REINFORCE
• Actor-Critic
• 全部交互工具