REINFORCE、带基线 REINFORCE 与一步 Actor-Critic 的对比

三种“优势”估计

• REINFORCE：$G_t$，整条回报，包含之后每一步的随机性；
• 带基线：$G_t-V(s_t)$，期望不变、方差降低；
• 一步 Actor-Critic：${\delta }_t=r_{t+1}+\gamma V(s_{t+1})-V(s_t)$，只含一步的随机性，其余由 Critic 估计（引入偏差）。

可以试试

• σ = 0：三条曲线几乎重合。
• σ = 1.5 或 2：REINFORCE 明显变慢，有时最后 50 回合还在 30 步以上；Actor-Critic 基本不受影响。
• 策略步长调大：REINFORCE 更容易发散，Actor-Critic 仍然稳定。

相关教程

• Actor-Critic
• REINFORCE
• 全部交互工具