# 攀爬博弈：独立学习者为什么找不到最优联合动作

> 来源：https://dqn.cn/tools/climbing-game ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/climbing-game）

## 为什么会协调失败

独立学习者把队友当作环境的一部分，$Q_A(a)$ 估计的是“我选 $a$、队友按当前（还在探索的）策略选时的平均回报”。在攀爬博弈中，$a_0$ 只有在队友也选 $b_0$ 时才好，队友乱选时会吃到 −30 的惩罚，于是 $Q_A(a_0)$ 很低，双方都避开它——这叫**相对过度泛化**（relative overgeneralization）。

## 可以试试

- 默认惩罚 −30：独立 Q 学习很少找到 (a₀, b₀)，大多停在 (a₁, b₁) = 7 或者更差的组合。
- 惩罚调到 0：独立学习也能找到最优。
- 查看滞后 Q 学习的 Q 曲线：Q(a₀) 一直保持在较高水平，不被队友的探索“吓退”。

## 相关教程

- [多智能体强化学习](https://dqn.cn/advanced/multi-agent)
- [全部交互工具](https://dqn.cn/tools/)