# 奖励设计：同一个任务，四种奖励函数，四种行为

> 来源：https://dqn.cn/tools/reward-design ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/reward-design）

## 奖励假设与奖励设计

强化学习的**奖励假设**认为：我们想要的一切目标，都可以表示为最大化某个标量奖励的累积和。但“写出一个奖励函数”和“写出我们真正想要的东西”往往不是一回事。

演示中的“朴素塑形”只在靠近目标时加分、离开时不扣分，结果来回走动比到达终点更划算。**势函数塑形** $F(s, s') = \gamma\Phi(s') - \Phi(s)$ 是安全的：任何闭环上 $F$ 的折扣和为零，因此最优策略不变（Ng, Harada & Russell, 1999）。

## 可以试试

- 选“靠近一步 +0.3”，看贪心路线在终点附近反复横跳。
- 点“四种方案各训练 8 次对比”：势函数塑形学得和步数惩罚一样快，而且不会被骗。
- 换几个随机种子：稀疏奖励偶尔学得慢，但从不会学错。

## 相关教程

- [智能体与环境：奖励设计](https://dqn.cn/basics/agent-environment)
- [全部交互工具](https://dqn.cn/tools/)