# SAC 自动调节温度 α：让策略熵追踪目标熵

> 来源：https://dqn.cn/tools/auto-temperature ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/auto-temperature）

## 温度的目标函数

SAC v2 把最大熵目标改写成带约束的形式：最大化回报，同时要求策略熵不低于目标 $\bar{\mathcal{H}}$。对偶变量就是温度 $\alpha$，它的损失为

$$
J(\alpha) = \mathbb{E}_{a \sim \pi}\big[-\alpha \log \pi(a \mid s) - \alpha \bar{\mathcal{H}}\big], \qquad \frac{\partial J}{\partial \alpha} = \mathcal{H}(\pi) - \bar{\mathcal{H}}
$$

熵高于目标时 α 减小（更贪心），低于目标时 α 增大（更随机）。实现中通常优化 $\log\alpha$ 以保证 α > 0。

## 可以试试

- 关掉自动调节：Q 差距增长后熵迅速下降。
- 打开后，α 曲线会随 Q 的尺度一起上升，熵稳定在红色虚线附近。
- 把 α 学习率调得很大：α 会来回震荡，这和真实训练中温度不稳定的现象类似。

## 相关教程

- [SAC](https://dqn.cn/advanced/sac)
- [全部交互工具](https://dqn.cn/tools/)