# 一次更新看清 SARSA、Q-learning 与 Expected SARSA

> 来源：https://dqn.cn/tools/td-control-update ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/td-control-update）

## 三种目标

$$
\begin{aligned}
\text{SARSA:}\quad & r + \gamma Q(s', a') \\
\text{Q-learning:}\quad & r + \gamma \max_{a'} Q(s', a') \\
\text{Expected SARSA:}\quad & r + \gamma \textstyle\sum_{a'} \pi(a' \mid s') Q(s', a')
\end{aligned}
$$

SARSA 用的是**真正要执行**的下一个动作，学到的是 ε-贪心策略自身的价值；Q-learning 假设之后都走贪心动作，学到的是最优策略的价值；Expected SARSA 对策略取期望，消除了 $a'$ 采样带来的方差。

## 可以试试

- 走几步，比较三张卡片：当 $a'$ 恰好是贪心动作时，SARSA 与 Q-learning 的目标相同。
- 快进 2000 步，分别用 SARSA 和 Q-learning 训练：悬崖旁边格子的“向下”Q 值，SARSA 学得更负。
- 把 ε 调成 0：三种目标完全一样。

## 相关教程

- [Q-learning 与 SARSA](https://dqn.cn/basics/q-learning-sarsa)
- [全部交互工具](https://dqn.cn/tools/)