【论文速递】PPO：近端策略优化算法

论文信息

项目	内容
标题	Proximal Policy Optimization Algorithms
作者	John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov
机构	OpenAI
发表	arXiv 预印本，2017
链接	arXiv:1707.06347
关键词	策略梯度、信赖域、裁剪代理目标

一句话总结

用一个简单的裁剪（clipped）代理目标代替 TRPO 的硬约束，使得同一批数据可以安全地做多轮小批量梯度更新；PPO 保留了信赖域方法的稳定性，实现却只需几行代码，此后成为最常用的同策略深度 RL 算法，也是 RLHF 的默认优化器。

背景：为什么需要 PPO

标准策略梯度（如 REINFORCE、A2C）每批数据只能做一次梯度更新：如果在同一批数据上反复优化 ${\hat{E}}_{t} [\log π_{θ} (a_{t} | s_{t}) {\hat{A}}_{t}]$ ，策略会走得太远，性能可能崩溃。

TRPO 通过 KL 约束 ${\hat{E}}_{t} [KL [π_{θ_{old}} (\cdot | s_{t}), π_{θ} (\cdot | s_{t})]] \leq δ$ 限制每步更新幅度，理论优美，但需要共轭梯度和线搜索，实现复杂，并且与参数共享（策略和价值共用网络）、dropout 等结构不兼容。PPO 的目标是：拿到 TRPO 的稳定性，只用一阶优化。

核心方法

1. 概率比与代理目标

记概率比 $r_{t} (θ) = \frac{π_{θ} (a_{t} ∣ s_{t})}{π_{θ_{old}} (a_{t} ∣ s_{t})}$ ，TRPO 最大化的代理目标（CPI 目标）为 $L^{C P I} (θ) = {\hat{E}}_{t} [r_{t} (θ) {\hat{A}}_{t}]$ 。不加约束地最大化它会导致过大的更新。

2. 裁剪代理目标

L^{C L I P} (θ) = {\hat{E}}_{t} [min (r_{t} (θ) {\hat{A}}_{t}, clip (r_{t} (θ), 1 - ϵ, 1 + ϵ) {\hat{A}}_{t})]

取未裁剪项与裁剪项的最小值，得到原目标的一个悲观下界：

当 ${\hat{A}}_{t} > 0$ （动作比预期好）， $r_{t}$ 超过 $1 + ϵ$ 后目标不再增加，没有动力继续提高该动作概率；
当 ${\hat{A}}_{t} < 0$ （动作比预期差）， $r_{t}$ 低于 $1 - ϵ$ 后同样不再有梯度；
但如果更新让目标变差（例如 ${\hat{A}}_{t} > 0$ 时 $r_{t}$ 变小），最小值会选中未裁剪项，梯度照常把它拉回来。

3. 备选方案：自适应 KL 惩罚

论文也提出了 $L^{K L P E N} (θ) = {\hat{E}}_{t} [r_{t} (θ) {\hat{A}}_{t} - β KL [π_{θ_{old}}, π_{θ}]]$ ，并根据实测 KL 与目标值 $d_{targ}$ 的比较把 $β$ 加倍或减半。实验中它不如裁剪版本，但这一思路在 RLHF 中以“KL 惩罚”的形式被广泛使用。

4. 完整目标与算法

与价值函数共享网络时，联合优化

L_{t}^{C L I P + V F + S} (θ) = {\hat{E}}_{t} [L_{t}^{C L I P} (θ) - c_{1} L_{t}^{V F} (θ) + c_{2} S [π_{θ}] (s_{t})]

其中 $L_{t}^{V F} = (V_{θ} (s_{t}) - V_{t}^{targ})^{2}$ ， $S$ 为熵奖励。优势估计使用截断的 GAE。

text

for iteration = 1, 2, ...:
    N 个并行 actor 各用 π_old 运行 T 步，收集 NT 条数据
    用 GAE 计算优势估计 Â_1, ..., Â_T
    在这批数据上，以小批量（大小 M ≤ NT）对 L 做 K 轮优化
    θ_old ← θ

关键实验结论

代理目标对比（MuJoCo 7 个环境，每种设置 21 次运行）：平均归一化分数中，“不裁剪也不惩罚”为 −0.39（在 HalfCheetah 上甚至比初始随机策略还差），裁剪 $ϵ = 0.1 / 0.2 / 0.3$ 分别为 0.76 / 0.82 / 0.70，各种自适应或固定 KL 惩罚在 0.62–0.74 之间。 $ϵ = 0.2$ 的裁剪最好，这也是今天的默认值。
连续控制：在 100 万步的 MuJoCo 基准上，PPO 在几乎所有环境上优于 TRPO、CEM、自适应步长的 vanilla PG、A2C 及带信赖域的 A2C 等对比算法。论文还展示了 Roboschool 3D 人形机器人的奔跑、转向和起身任务。
Atari（49 款游戏）：与调好参数的 A2C、ACER 比较“获胜”游戏数。按整个训练期的平均回报（偏向学得快）：A2C 1 款、ACER 18 款、PPO 30 款；按最后 100 回合的平均回报（偏向最终性能）：A2C 1 款、ACER 28 款、PPO 19 款。即 PPO 学得更快，最终性能与 ACER 互有胜负，但实现简单得多。

优点与局限

优点

实现简单、对超参数相对不敏感，在离散和连续动作上都能用；
支持多轮小批量更新，比 A2C 更省样本；
易于大规模并行，OpenAI Five、早期 RLHF（InstructGPT）都基于 PPO。

局限

仍是同策略算法，数据用完即弃，样本效率不如 SAC、TD3 等离策略方法；
裁剪并不能严格保证信赖域：后续研究（如 Engstrom 等人 2020 年的 Implementation Matters in Deep Policy Gradients）发现，PPO 的性能很大程度上依赖优势归一化、价值裁剪、学习率退火、观测归一化等“代码级优化”；
在大语言模型场景中需要额外的价值网络，显存开销大，这正是后来 GRPO 等方法要解决的问题。

与本站教程的联系

PPO 教程：从零实现 PPO-Clip（GAE、并行环境、多轮小批量），在 CartPole 上实测，并讨论了 epoch 数对稳定性的影响。
TRPO：PPO 要简化的前身。
Actor-Critic：A2C / A3C：GAE 与并行采样的基础。
RLHF 与大模型中的 RL：PPO 在大模型对齐中的应用。
站内论文速递：DeepSeekMath / GRPO。

参考文献

Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347
Schulman, J., Levine, S., Moritz, P., Jordan, M., & Abbeel, P. (2015). Trust Region Policy Optimization. ICML. arXiv:1502.05477
Schulman, J., Moritz, P., Levine, S., Jordan, M., & Abbeel, P. (2016). High-Dimensional Continuous Control Using Generalized Advantage Estimation. ICLR. arXiv:1506.02438
Engstrom, L., Ilyas, A., Santurkar, S., et al. (2020). Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO. ICLR. arXiv:2005.12729

【论文速递】PPO：近端策略优化算法 ​

论文信息 ​

一句话总结 ​

背景：为什么需要 PPO ​

核心方法 ​

1. 概率比与代理目标 ​

2. 裁剪代理目标 ​

3. 备选方案：自适应 KL 惩罚 ​

4. 完整目标与算法 ​

关键实验结论 ​

优点与局限 ​

与本站教程的联系 ​

参考文献 ​