攀爬博弈：独立学习者为什么找不到最优联合动作

为什么会协调失败

独立学习者把队友当作环境的一部分， $Q_{A} (a)$ 估计的是“我选 $a$ 、队友按当前（还在探索的）策略选时的平均回报”。在攀爬博弈中， $a_{0}$ 只有在队友也选 $b_{0}$ 时才好，队友乱选时会吃到 −30 的惩罚，于是 $Q_{A} (a_{0})$ 很低，双方都避开它——这叫相对过度泛化（relative overgeneralization）。

可以试试

默认惩罚 −30：独立 Q 学习很少找到 (a₀, b₀)，大多停在 (a₁, b₁) = 7 或者更差的组合。
惩罚调到 0：独立学习也能找到最优。
查看滞后 Q 学习的 Q 曲线：Q(a₀) 一直保持在较高水平，不被队友的探索“吓退”。

攀爬博弈：独立学习者为什么找不到最优联合动作 ​

为什么会协调失败 ​

可以试试 ​

相关教程 ​

攀爬博弈：独立学习者为什么找不到最优联合动作

为什么会协调失败

可以试试

相关教程