首次访问 MC 与每次访问 MC：偏差与方差

两种平均方式

一条回合中状态 $s$ 可能出现多次。首次访问 MC 只用每条回合中 $s$ 第一次出现之后的回报；每次访问 MC 把每次出现之后的回报都计入平均。

首次访问：每条回合贡献一个独立同分布的样本，估计无偏。
每次访问：同一回合内的样本彼此相关，有限样本下有偏，但随回合数增加偏差趋于 0，两者都收敛到 $V (s)$ 。

可以试试

n = 1：每次访问的估计是 (L+1)/2，平均只有真值的一半左右。
把 n 调到 30：两条实线都贴近 0，虚线（RMSE）也越来越接近。
p 越大回合越长、方差越大，两种方法都需要更多回合。

相关教程