PPO 裁剪目标函数可视化：L^CLIP 与多轮更新

目标函数

$$L^{CLIP}(\theta )={\mathbb{E}}_t[min(r_t(\theta ){\hat{A}}_t,\mathrm{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t)],r_t(\theta )=\frac{{\pi }_{\theta }(a_t\mid s_t)}{{\pi }_{{\theta }_{old}}(a_t\mid s_t)}$$

取 min 使它成为未裁剪目标的悲观下界：

• $\hat{A}>0$：$r$ 超过 $1+ϵ$ 后目标变平，不再奖励继续提高该动作的概率；但 $r<1-ϵ$ 时不裁剪，允许“纠正”。
• $\hat{A}<0$：$r$ 低于 $1-ϵ$ 后目标变平；$r>1+ϵ$ 时不裁剪，坏动作概率过高会被全力压下。

可以试试

• A = +1，把 r 从 0.5 拖到 2：圆点从绿色（有梯度）变成灰色（梯度为 0）的位置正好是 $1+ϵ$。
• 切换到 A = −1，平台出现在左边 $1-ϵ$ 处。
• 下方的多轮更新模拟：K = 20 轮、步长 0.5 时，不裁剪的 r 一路涨到接近 $1/{\pi }_{old}$（概率被推到接近 1），PPO 的 r 停在 $1+ϵ$ 附近；把步长调大，最后一步可能“冲过”边界，这也是实践中还要监控 KL 或做早停的原因。
• 增大 ε：允许每轮数据把策略推得更远，学习更快但更不稳定。

相关教程

• PPO
• TRPO
• 全部交互工具