# 事后经验回放（HER）：比特翻转任务

> 来源：https://dqn.cn/tools/her-bit-flip ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/her-bit-flip）

## 任务

状态 $s$ 和目标 $g$ 都是 $n$ 位二进制串，动作是翻转其中一位，$s = g$ 时奖励 0，否则 −1。随机初始化时 $s$ 与 $g$ 平均相差 $n/2$ 位，随机探索在 $n$ 步内碰到目标的概率随 $n$ 指数下降，于是几乎所有经验的奖励都是 −1，Q 函数学不到任何方向。

HER 把每个转移 $(s_t, a_t, s_{t+1}, g)$ 额外存成 $(s_t, a_t, s_{t+1}, g')$，其中 $g'$ 取自同一回合后来实际到达的状态，奖励按 $g'$ 重新计算。

## 可以试试

- n = 5：两种方法都能学会。
- n = 12 或 15：不用 HER 一直是 0，HER 在几百个回合内达到 100%。
- 把重标注策略换成 final、k = 1：仍然有效，但比 future 慢。

## 相关教程

- [目标条件强化学习与 HER](https://dqn.cn/advanced/goal-conditioned)
- [全部交互工具](https://dqn.cn/tools/)