主题
走廊寻宝：强化学习的试错与延迟奖励
这个演示在讲什么
没有人告诉智能体“往右走”。它只能尝试一个方向，看拿到了什么奖励，然后修正对每个格子“向左 / 向右”的估值。这就是强化学习与监督学习最大的区别：学习信号是评价性的奖励，而不是“正确答案”。
另一个关键点是延迟奖励：宝箱离起点更远，前几步走过去时没有任何奖励，智能体需要把终点的 +10 一格一格地“传”回起点，才知道一开始就该往右。
可以试试
- 切到“我来走”，自己走几回合，体会一下“只有走到端点才知道好坏”。
- 把 ε 调成 0：智能体一旦先碰到小金币，就可能一直去拿金币，再也发现不了宝箱——这是探索与利用的矛盾。
- 把 γ 调到 0.4 以下：10 × 0.4⁵ ≈ 0.10，比 1 × 0.4² = 0.16 还小，近处的金币反而更“值”，智能体会学会往左走。