折扣回报：眼前的小奖励还是长远的大奖励？

折扣回报

$$G=r_1+\gamma r_2+{\gamma }^2{r}_3+\cdots =\sum _{t=0}^{T-1}{\gamma }^t{r}_{t+1}$$

$\gamma \in [0,1)$ 决定了智能体有多“看重未来”：$\gamma =0$ 时只关心下一步的奖励；$\gamma$ 接近 1 时，远处的奖励几乎和眼前一样重要。工具中的彩色柱子就是每一项 ${\gamma }^t{r}_{t+1}$。

可以试试

• 默认的“小而快 vs 大而慢”：γ 小于交点时选 A，大于交点时选 B。
• “先吃苦后享福”：前几步是负奖励，只有 γ 足够大，智能体才愿意先付出代价。
• 自己输入奖励序列（用逗号分隔），比如设计一个“短期成瘾、长期有害”的例子。

相关教程

• 什么是强化学习
• MDP：回报
• 全部交互工具