# 好奇心驱动探索：稀疏奖励迷宫中的计数奖励与 ε-贪心

> 来源：https://dqn.cn/tools/exploration ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/exploration）

## 内在奖励

稀疏奖励问题中，智能体在第一次碰到终点之前得不到任何学习信号。ε-贪心的探索是**无方向的**：它在随机游走，期望要走很多步才能穿过几道门。

基于计数的探索给每次转移加上**内在奖励**：

$$
r_t^{+} = r_t + \frac{\beta}{\sqrt{N(s_{t+1})}}
$$

$N(s)$ 是状态被访问过的次数。去过越少的地方奖励越高，于是 Q 值会把智能体“拉向”未探索的区域。工具中计数智能体的 Q 初值设为 $\beta/(1-\gamma)$，即“永远在全新状态里”能拿到的内在回报上界，让未访问的状态显得乐观；否则已访问状态因为拿过奖励反而比未访问状态更有吸引力。

深度强化学习中状态无法直接计数，于是有了：

- **伪计数**（Bellemare et al., 2016）：用密度模型估计“新颖程度”；
- **ICM**（Pathak et al., 2017）：用前向模型的预测误差作为好奇心；
- **RND**（Burda et al., 2019）：用一个固定随机网络的输出作为目标，训练另一个网络去预测它，预测误差大说明状态新颖。RND 在《蒙特祖玛的复仇》上首次大幅超过人类平均水平。

## 可以试试

- 点“直接跑完 100 回合”：计数奖励的智能体通常在前 10 个回合内就找到终点，并几乎访问了所有格子；ε-贪心常常 100 回合都到不了，热力图集中在起点附近。
- 把 β 调到 0.5：内在奖励压过了终点的 +1，智能体到达终点的次数反而减少——好奇心太强会“分心”。
- 换几个随机种子：ε-贪心的结果波动很大，靠运气；计数探索则稳定得多。

## 相关教程

- [DQN 改进（Noisy Nets 与探索）](https://dqn.cn/advanced/dqn-improvements)
- [探索与利用](https://dqn.cn/basics/bandit)
- [全部交互工具](https://dqn.cn/tools/)