SAC 温度系数 α 与最大熵策略可视化

最大熵目标在一个状态上的样子

固定一个状态，SAC 的策略改进相当于求解

$$\underset{\pi }{max}{\mathbb{E}}_{a\sim \pi }[Q(s,a)]+\alpha \mathcal{H}(\pi (\cdot \mid s))$$

在所有分布中，最优解是 Boltzmann 分布 ${\pi }^{\ast }(a\mid s)\propto \exp (Q(s,a)/\alpha )$（这正是 SAC 用 KL 投影去逼近的目标）。实际 SAC 使用（tanh 压缩的）高斯策略，所以图中还画出了在高斯族里最优的 $(\mu ,\sigma )$。

自动调温：SAC 第二版把 α 当作对偶变量，目标是让策略的熵等于设定的目标熵 $\overline{\mathcal{H}}$（连续动作常取 $-\dim \mathcal{A}$）。“自动调温”模式下，工具会求出满足 $\mathcal{H}({\pi }_{\alpha }^{\ast })=\overline{\mathcal{H}}$ 的 α，即自动调温的平衡点。

可以试试

• α ≈ 0.01：策略几乎确定性地钉在右边的窄峰上（σ ≈ 0.03）。
• α 逐渐增大到约 0.4：最优高斯策略会突然“跳”到左边的宽峰（σ 增大到 0.4 以上）——宽峰虽然低一点，但能以更大的熵获得接近的回报。
• α ≥ 1：策略接近均匀分布，几乎不再关心 Q。
• 切换到自动调温，把目标熵从 −2 拖到 1.5，观察对应的 α 如何单调增大。

相关教程

• SAC
• 探索与利用
• 全部交互工具