TD(0)、TD(λ) 与蒙特卡洛：随机游走在线对比

实验设定

五个非终止状态 A–E，从 C 出发，每步等概率向左或向右，走出右端得到 $+1$，走出左端得到 $0$，$\gamma =1$。真实价值为 $V(s)=1/6,2/6,\dots ,5/6$，所有估计初始化为 $0.5$。

• 常数 α 蒙特卡洛：回合结束后对每个访问过的状态做 $V(S_t)\leftarrow V(S_t)+\alpha [G_t-V(S_t)]$。
• TD(0)：每走一步就更新 $V(S_t)\leftarrow V(S_t)+\alpha [R_{t+1}+\gamma V(S_{t+1})-V(S_t)]$。
• TD(λ)（在线、累积资格迹）：$e(s)\leftarrow \gamma \lambda e(s)+\mathbb{1}[S_t=s]$，所有状态按 $V(s)\leftarrow V(s)+\alpha {\delta }_{t}e(s)$ 更新。

可以试试

• 默认 α = 0.1：TD(0) 的平均误差曲线下降得比蒙特卡洛更快、最终也更低——这是 Sutton & Barto 例 6.2 的结论。
• 把 λ 调到 0，TD(λ) 与 TD(0) 完全重合；调到 1，它的行为接近蒙特卡洛。中间的 λ 往往最好。
• 把 α 调到 0.3 以上：所有方法的曲线都会先降后“抖”，因为常数步长让估计永远在真实值附近波动；蒙特卡洛的目标 $G_t$ 方差更大，抖得最厉害。
• 用“跑 1 回合”单步观察：一回合只经过少数状态时，蒙特卡洛只更新这些状态，而且只能等回合结束；TD 每一步都在更新。

相关教程

• 时序差分学习
• 蒙特卡洛方法
• 全部交互工具