事后经验回放（HER）：比特翻转任务

任务

状态 $s$ 和目标 $g$ 都是 $n$ 位二进制串，动作是翻转其中一位，$s=g$ 时奖励 0，否则 −1。随机初始化时 $s$ 与 $g$ 平均相差 $n/2$ 位，随机探索在 $n$ 步内碰到目标的概率随 $n$ 指数下降，于是几乎所有经验的奖励都是 −1，Q 函数学不到任何方向。

HER 把每个转移 $(s_t,a_t,s_{t+1},g)$ 额外存成 $(s_t,a_t,s_{t+1},g^{\prime })$，其中 $g^{\prime }$ 取自同一回合后来实际到达的状态，奖励按 $g^{\prime }$ 重新计算。

可以试试

• n = 5：两种方法都能学会。
• n = 12 或 15：不用 HER 一直是 0，HER 在几百个回合内达到 100%。
• 把重标注策略换成 final、k = 1：仍然有效，但比 future 慢。

相关教程

• 目标条件强化学习与 HER
• 全部交互工具