# 离线强化学习的外推误差：数据之外的 Q 值不可信

> 来源：https://dqn.cn/tools/offline-extrapolation ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/offline-extrapolation）

## 分布偏移与外推误差

离线 RL 中，Q 函数只在数据集覆盖的状态-动作对上得到过监督。策略改进步骤 $\pi(s) = \arg\max_a Q(s, a)$ 会在整个动作空间里搜索，自然会找到函数近似**外推出来的高值**；在线 RL 可以去试一试并纠正，离线时这个错误会通过自举在 TD 目标中不断传播放大。

## 可以试试

- RBF 网络在远离数据时趋于 0，而真实回报都是负的：argmax 几乎总是选到动作空间的边缘。
- 换成多项式：外推方向随数据集随机变化，有时向上翘，有时向下。
- 把行为策略标准差调到 0.6 以上：数据覆盖整个动作空间，外推误差基本消失。

## 相关教程

- [离线强化学习](https://dqn.cn/advanced/offline-rl)
- [全部交互工具](https://dqn.cn/tools/)