离线强化学习的外推误差：数据之外的 Q 值不可信

分布偏移与外推误差

离线 RL 中，Q 函数只在数据集覆盖的状态-动作对上得到过监督。策略改进步骤 $\pi (s)=\arg \underset{a}{max}Q(s,a)$ 会在整个动作空间里搜索，自然会找到函数近似外推出来的高值；在线 RL 可以去试一试并纠正，离线时这个错误会通过自举在 TD 目标中不断传播放大。

可以试试

• RBF 网络在远离数据时趋于 0，而真实回报都是负的：argmax 几乎总是选到动作空间的边缘。
• 换成多项式：外推方向随数据集随机变化，有时向上翘，有时向下。
• 把行为策略标准差调到 0.6 以上：数据覆盖整个动作空间，外推误差基本消失。

相关教程

• 离线强化学习
• 全部交互工具