策略梯度的方差：为什么要减去基线

基线不改变期望

对任意不依赖于动作的基线 $b$：

$${\mathbb{E}}_{a\sim \pi }[b{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(a)]=b\sum _a{\mathrm{\nabla }}_{\theta }{\pi }_{\theta }(a)=b{\mathrm{\nabla }}_{\theta }1=0$$

所以 $(R-b)\mathrm{\nabla }\log \pi$ 与 $R\mathrm{\nabla }\log \pi$ 的期望相同。但方差不同：所有奖励都很大（例如都是正的）时，不减基线会让每个被采到的动作的概率都上升，只是“升多升少”的区别，梯度估计噪声很大。

可以试试

• 偏移 c = 0 时两者差别不大；c = 10 时无基线的直方图宽得多。
• c = −10：所有奖励为负，无基线的估计同样很差。
• 噪声 σ 调大：两种估计的方差都上升，但基线仍然有效。

相关教程

• REINFORCE：基线
• 全部交互工具