# HER 的重标注策略：final、future 与 episode

> 来源：https://dqn.cn/tools/goal-relabel ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/goal-relabel）

## 三种策略

- **final**：$g' = s_T$，每个转移只额外存 1 条。
- **future**：从 $s_{t+1}, \ldots, s_T$ 中随机取 $k$ 个作为 $g'$；越靠近 $t$，目标越容易达成。
- **episode**：从整条回合中随机取 $k$ 个状态，可能取到过去的状态。

奖励函数必须是**可以对任意目标重新计算**的，例如 $r = -\mathbb{1}[\|s_{t+1} - g\| > \epsilon]$。这也是 HER 适用于到达类任务的原因。

## 可以试试

- 选 t = 0，future 策略：替代目标遍布整条轨迹，大多数奖励仍是 −1。
- 选 t 接近末尾：future 只能从最后几个点中挑，奖励为 0 的比例明显上升。
- 切到 final：所有时间步的替代目标都是同一个终点。

## 相关教程

- [目标条件强化学习与 HER](https://dqn.cn/advanced/goal-conditioned)
- [全部交互工具](https://dqn.cn/tools/)