# TRPO 信赖域：普通梯度、自然梯度与回溯线搜索

> 来源：https://dqn.cn/tools/trust-region ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/trust-region）

## TRPO 的一步

$$
\max_\theta\; L(\theta) \quad \text{s.t.}\quad \bar D_{\text{KL}}(\pi_{\theta_{\text{old}}} \,\|\, \pi_\theta) \le \delta
$$

把目标线性化、KL 二阶近似（Fisher 矩阵 $F$）后，解析解的方向是自然梯度 $F^{-1} g$，步长 $\beta = \sqrt{2\delta / (g^\top F^{-1} g)}$。由于近似有误差，再做回溯线搜索：步长逐次减半，直到真实 KL ≤ δ 且目标确实提升。

## 可以试试

- 点击右下角附近（θ₂ 很小、θ₁ 很大）：策略接近确定性，信赖域在参数空间里被拉得很长。
- 把普通梯度的学习率调大：红色步很快冲出虚线圈；自然梯度步始终落在圈内。
- 连续点“接受 TRPO 这一步”，看策略如何一步步走向绿色区域。

## 相关教程

- [TRPO](https://dqn.cn/advanced/trpo)
- [全部交互工具](https://dqn.cn/tools/)