PPO：同一批数据训练多个 epoch 时，裁剪做了什么

为什么要裁剪

同一批数据用的是旧策略 ${\pi }_{\text{old}}$ 采的，用重要性权重 $r={\pi }_{\theta }/{\pi }_{\text{old}}$ 修正后，代理目标 $\mathbb{E}[r\hat{A}]$ 只在 ${\pi }_{\theta }$ 离 ${\pi }_{\text{old}}$ 不远时才可靠。不加约束、在同一批数据上反复优化，策略会冲向“这批数据里碰巧优势为正”的动作，KL 迅速变大，甚至变成确定性策略，再也采不到其他动作。

PPO-Clip 的目标 $min(r\hat{A},\text{clip}(r,1-ϵ,1+ϵ)\hat{A})$ 让超出范围的样本梯度为 0，每轮更新的幅度被自动限制。

可以试试

• epoch = 1：两条曲线完全重合（第一步时 r = 1，裁剪不起作用）。
• epoch 拖到 80：不裁剪的 J 先升后降，“收敛到错误动作”的次数大幅增加。
• ε 调到 0.5：PPO 每轮走得更远，学得更快，但也更接近不裁剪的行为。

相关教程

• PPO
• 全部交互工具