# SAC 温度系数 α 与最大熵策略可视化

> 来源：https://dqn.cn/tools/sac-entropy ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/sac-entropy）

## 最大熵目标在一个状态上的样子

固定一个状态，SAC 的策略改进相当于求解

$$
\max_\pi\ \mathbb{E}_{a\sim\pi}\big[Q(s,a)\big] + \alpha\, \mathcal{H}\big(\pi(\cdot\mid s)\big)
$$

在所有分布中，最优解是 Boltzmann 分布 $\pi^*(a\mid s) \propto \exp\big(Q(s,a)/\alpha\big)$（这正是 SAC 用 KL 投影去逼近的目标）。实际 SAC 使用（tanh 压缩的）高斯策略，所以图中还画出了在高斯族里最优的 $(\mu, \sigma)$。

**自动调温**：SAC 第二版把 α 当作对偶变量，目标是让策略的熵等于设定的目标熵 $\bar{\mathcal H}$（连续动作常取 $-\dim\mathcal A$）。“自动调温”模式下，工具会求出满足 $\mathcal H(\pi^*_\alpha) = \bar{\mathcal H}$ 的 α，即自动调温的平衡点。

## 可以试试

- α ≈ 0.01：策略几乎确定性地钉在右边的窄峰上（σ ≈ 0.03）。
- α 逐渐增大到约 0.4：最优高斯策略会突然“跳”到左边的宽峰（σ 增大到 0.4 以上）——宽峰虽然低一点，但能以更大的熵获得接近的回报。
- α ≥ 1：策略接近均匀分布，几乎不再关心 Q。
- 切换到自动调温，把目标熵从 −2 拖到 1.5，观察对应的 α 如何单调增大。

## 相关教程

- [SAC](https://dqn.cn/advanced/sac)
- [探索与利用](https://dqn.cn/basics/bandit)
- [全部交互工具](https://dqn.cn/tools/)