21 点（Blackjack）上的蒙特卡洛预测

设定

状态由三部分组成：玩家当前点数（12–21）、庄家明牌（A–10）、玩家是否有“可用的 A”（可以当 11 而不爆牌）。策略固定为“点数 ≥ 阈值就停牌”，庄家 17 点以上停牌。赢 +1、平 0、输 −1，中间奖励为 0，γ = 1。

蒙特卡洛预测不需要环境模型：不用算“下一张牌是几”的概率，只需要玩很多局，把每个访问过的状态记上这局的输赢，再取平均。