n 步 TD：在 TD(0) 与蒙特卡洛之间

n 步回报

$$G_{t:t+n}=R_{t+1}+\gamma R_{t+2}+\cdots +{\gamma }^{n-1}{R}_{t+n}+{\gamma }^{n}V(S_{t+n})$$

$n=1$ 是 TD(0)：只用一步真实奖励，其余靠估计（偏差大、方差小）；$n\to \mathrm{\infty }$ 是蒙特卡洛（无偏、方差大）。中间的 $n$ 往往在有限数据下误差最小。

可以试试

• 观察每条曲线的最低点：n = 4 或 8 附近误差最低，n = 1 和 n = 32 都不如它们。
• n 越大，最优步长 α 越小：多步回报方差大，步长大了会抖。
• 在下方选 n = 1、α = 0.1，再选 n = 32、α = 0.6，比较 10 个回合后的估计形状。

相关教程

• 时序差分学习
• 全部交互工具