# REINFORCE、带基线 REINFORCE 与一步 Actor-Critic 的对比

> 来源：https://dqn.cn/tools/actor-critic ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/actor-critic）

## 三种“优势”估计

- REINFORCE：$G_t$，整条回报，包含之后每一步的随机性；
- 带基线：$G_t - V(s_t)$，期望不变、方差降低；
- 一步 Actor-Critic：$\delta_t = r_{t+1} + \gamma V(s_{t+1}) - V(s_t)$，只含一步的随机性，其余由 Critic 估计（引入偏差）。

## 可以试试

- σ = 0：三条曲线几乎重合。
- σ = 1.5 或 2：REINFORCE 明显变慢，有时最后 50 回合还在 30 步以上；Actor-Critic 基本不受影响。
- 策略步长调大：REINFORCE 更容易发散，Actor-Critic 仍然稳定。

## 相关教程

- [Actor-Critic](https://dqn.cn/advanced/actor-critic)
- [REINFORCE](https://dqn.cn/advanced/reinforce)
- [全部交互工具](https://dqn.cn/tools/)