SAC 自动调节温度 α：让策略熵追踪目标熵

温度的目标函数

SAC v2 把最大熵目标改写成带约束的形式：最大化回报，同时要求策略熵不低于目标 $\overline{\mathcal{H}}$。对偶变量就是温度 $\alpha$，它的损失为

$$J(\alpha )={\mathbb{E}}_{a\sim \pi }[-\alpha \log \pi (a\mid s)-\alpha \overline{\mathcal{H}}],\frac{\partial J}{\partial \alpha }=\mathcal{H}(\pi )-\overline{\mathcal{H}}$$

熵高于目标时 α 减小（更贪心），低于目标时 α 增大（更随机）。实现中通常优化 $\log \alpha$ 以保证 α > 0。

可以试试

• 关掉自动调节：Q 差距增长后熵迅速下降。
• 打开后，α 曲线会随 Q 的尺度一起上升，熵稳定在红色虚线附近。
• 把 α 学习率调得很大：α 会来回震荡，这和真实训练中温度不稳定的现象类似。

相关教程

• SAC
• 全部交互工具