好奇心驱动探索：稀疏奖励迷宫中的计数奖励与 ε-贪心

内在奖励

稀疏奖励问题中，智能体在第一次碰到终点之前得不到任何学习信号。ε-贪心的探索是无方向的：它在随机游走，期望要走很多步才能穿过几道门。

基于计数的探索给每次转移加上内在奖励：

$$r_t^{+}=r_t+\frac{\beta }{\sqrt{N(s_{t+1})}}$$

$N(s)$ 是状态被访问过的次数。去过越少的地方奖励越高，于是 Q 值会把智能体“拉向”未探索的区域。工具中计数智能体的 Q 初值设为 $\beta /(1-\gamma )$，即“永远在全新状态里”能拿到的内在回报上界，让未访问的状态显得乐观；否则已访问状态因为拿过奖励反而比未访问状态更有吸引力。

深度强化学习中状态无法直接计数，于是有了：

• 伪计数（Bellemare et al., 2016）：用密度模型估计“新颖程度”；
• ICM（Pathak et al., 2017）：用前向模型的预测误差作为好奇心；
• RND（Burda et al., 2019）：用一个固定随机网络的输出作为目标，训练另一个网络去预测它，预测误差大说明状态新颖。RND 在《蒙特祖玛的复仇》上首次大幅超过人类平均水平。

可以试试

• 点“直接跑完 100 回合”：计数奖励的智能体通常在前 10 个回合内就找到终点，并几乎访问了所有格子；ε-贪心常常 100 回合都到不了，热力图集中在起点附近。
• 把 β 调到 0.5：内在奖励压过了终点的 +1，智能体到达终点的次数反而减少——好奇心太强会“分心”。
• 换几个随机种子：ε-贪心的结果波动很大，靠运气；计数探索则稳定得多。

相关教程

• DQN 改进（Noisy Nets 与探索）
• 探索与利用
• 全部交互工具