奖励设计：同一个任务，四种奖励函数，四种行为

奖励假设与奖励设计

强化学习的奖励假设认为：我们想要的一切目标，都可以表示为最大化某个标量奖励的累积和。但“写出一个奖励函数”和“写出我们真正想要的东西”往往不是一回事。

演示中的“朴素塑形”只在靠近目标时加分、离开时不扣分，结果来回走动比到达终点更划算。势函数塑形 $F (s, s^{'}) = γ Φ (s^{'}) - Φ (s)$ 是安全的：任何闭环上 $F$ 的折扣和为零，因此最优策略不变（Ng, Harada & Russell, 1999）。