TRPO 信赖域：普通梯度、自然梯度与回溯线搜索

TRPO 的一步

$$\underset{\theta }{max}L(\theta )\text{s.t.}{\overline{D}}_{\text{KL}}({\pi }_{{\theta }_{\text{old}}}\parallel {\pi }_{\theta })\le \delta$$

把目标线性化、KL 二阶近似（Fisher 矩阵 $F$）后，解析解的方向是自然梯度 $F^{-1}g$，步长 $\beta =\sqrt{2\delta /(g^{\mathrm{\top }}{F}^{-1}g)}$。由于近似有误差，再做回溯线搜索：步长逐次减半，直到真实 KL ≤ δ 且目标确实提升。

可以试试

• 点击右下角附近（θ₂ 很小、θ₁ 很大）：策略接近确定性，信赖域在参数空间里被拉得很长。
• 把普通梯度的学习率调大：红色步很快冲出虚线圈；自然梯度步始终落在圈内。
• 连续点“接受 TRPO 这一步”，看策略如何一步步走向绿色区域。

相关教程

• TRPO
• 全部交互工具