HER 的重标注策略：final、future 与 episode

三种策略

final： $g^{'} = s_{T}$ ，每个转移只额外存 1 条。
future：从 $s_{t + 1}, \dots, s_{T}$ 中随机取 $k$ 个作为 $g^{'}$ ；越靠近 $t$ ，目标越容易达成。
episode：从整条回合中随机取 $k$ 个状态，可能取到过去的状态。

奖励函数必须是可以对任意目标重新计算的，例如 $r = - 1 [∥ s_{t + 1} - g ∥ > ϵ]$ 。这也是 HER 适用于到达类任务的原因。

可以试试

选 t = 0，future 策略：替代目标遍布整条轨迹，大多数奖励仍是 −1。
选 t 接近末尾：future 只能从最后几个点中挑，奖励为 0 的比例明显上升。
切到 final：所有时间步的替代目标都是同一个终点。

相关教程