# 首次访问 MC 与每次访问 MC：偏差与方差

> 来源：https://dqn.cn/tools/first-every-visit ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/first-every-visit）

## 两种平均方式

一条回合中状态 $s$ 可能出现多次。**首次访问 MC** 只用每条回合中 $s$ 第一次出现之后的回报；**每次访问 MC** 把每次出现之后的回报都计入平均。

- 首次访问：每条回合贡献一个独立同分布的样本，估计**无偏**。
- 每次访问：同一回合内的样本彼此相关，有限样本下**有偏**，但随回合数增加偏差趋于 0，两者都收敛到 $V(s)$。

## 可以试试

- n = 1：每次访问的估计是 (L+1)/2，平均只有真值的一半左右。
- 把 n 调到 30：两条实线都贴近 0，虚线（RMSE）也越来越接近。
- p 越大回合越长、方差越大，两种方法都需要更多回合。

## 相关教程

- [蒙特卡洛方法](https://dqn.cn/basics/monte-carlo)
- [全部交互工具](https://dqn.cn/tools/)