# n 步 TD：在 TD(0) 与蒙特卡洛之间

> 来源：https://dqn.cn/tools/n-step-td ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/n-step-td）

## n 步回报

$$
G_{t:t+n} = R_{t+1} + \gamma R_{t+2} + \cdots + \gamma^{n-1} R_{t+n} + \gamma^n V(S_{t+n})
$$

$n = 1$ 是 TD(0)：只用一步真实奖励，其余靠估计（偏差大、方差小）；$n \to \infty$ 是蒙特卡洛（无偏、方差大）。中间的 $n$ 往往在有限数据下误差最小。

## 可以试试

- 观察每条曲线的最低点：n = 4 或 8 附近误差最低，n = 1 和 n = 32 都不如它们。
- n 越大，最优步长 α 越小：多步回报方差大，步长大了会抖。
- 在下方选 n = 1、α = 0.1，再选 n = 32、α = 0.6，比较 10 个回合后的估计形状。

## 相关教程

- [时序差分学习](https://dqn.cn/basics/td-learning)
- [全部交互工具](https://dqn.cn/tools/)