一次更新看清 SARSA、Q-learning 与 Expected SARSA

三种目标

$$\begin{array}{rl}\text{SARSA:}& r+\gamma Q(s^{\prime },a^{\prime })\\ \text{Q-learning:}& r+\gamma \underset{a^{\prime }}{max}Q(s^{\prime },a^{\prime })\\ \text{Expected SARSA:}& r+\gamma \sum _{a^{\prime }}\pi (a^{\prime }\mid s^{\prime })Q(s^{\prime },a^{\prime })\end{array}$$

SARSA 用的是真正要执行的下一个动作，学到的是 ε-贪心策略自身的价值；Q-learning 假设之后都走贪心动作，学到的是最优策略的价值；Expected SARSA 对策略取期望，消除了 $a^{\prime }$ 采样带来的方差。

可以试试

• 走几步，比较三张卡片：当 $a^{\prime }$ 恰好是贪心动作时，SARSA 与 Q-learning 的目标相同。
• 快进 2000 步，分别用 SARSA 和 Q-learning 训练：悬崖旁边格子的“向下”Q 值，SARSA 学得更负。
• 把 ε 调成 0：三种目标完全一样。

相关教程

• Q-learning 与 SARSA
• 全部交互工具