主题

ε 调度：探索衰减得太快会发生什么 ​

ε 调度 ​

DQN 通常让 ε 在训练初期从 1 线性下降到一个较小的值（如 Atari 上前 100 万帧降到 0.1，之后保持或继续降到 0.01）。初期大量随机探索，用来收集多样的经验；后期主要利用已学到的价值。

衰减太快的风险：智能体在还没发现更好的选择、也还没把它的价值传播回来之前，就已经几乎只走贪心动作了。

可以试试 ​

  • 默认设置下比较各调度的“大宝箱”比例：慢衰减几乎每次都找到大宝箱，快衰减几乎从不。
  • 拖动“自定义衰减步数”，找出从“几乎从不”到“几乎总是”的转折点。
  • 注意回报曲线：慢衰减前期回报最低，这是探索的代价。

相关教程 ​