主题

蒙特卡洛树搜索（MCTS）井字棋对弈与搜索统计 ​

算法 ​

每次模拟包含四步：

  1. 选择：从根节点开始，用 UCT 规则 arg⁡maxa[Q(s,a)+cln⁡N(s)N(s,a)] 往下走，直到遇到还有未访问子节点的节点；
  2. 扩展：加入一个新节点；
  3. 模拟：从新节点开始随机落子直到终局（赢 1、平 0.5、输 0）；
  4. 回传：沿路径更新访问次数 N 和累计价值 W，Q=W/N。

搜索结束后选择访问次数最多的动作（比选 Q 最大更稳健）。AlphaZero / MuZero 把第 3 步的随机模拟换成价值网络，把 UCT 换成带策略网络先验的 PUCT，MuZero 还把真实规则换成了学到的模型。

可以试试 ​

  • 1000 次模拟时，AI 基本不会输，你最多能逼平。
  • 调到 10 次：AI 经常看不出你的“二连”威胁。
  • 把探索系数 c 调到 0：搜索变得贪婪，容易被早期的随机结果误导；c 太大则平均分配访问，浪费模拟。
  • 点“让 MCTS 给我提示”看看它建议你走哪里（绿色热力图）。

相关教程 ​