CQL：把数据之外的 Q 值压下去

CQL 的正则项

$$\underset{Q}{min}\alpha ({\mathbb{E}}_s[\log \sum _a\exp Q(s,a)]-{\mathbb{E}}_{(s,a)\sim \mathcal{D}}[Q(s,a)])+\frac{1}{2}{\mathbb{E}}_{\mathcal{D}}[(Q-{\mathcal{B}}^{\pi }\hat{Q}{)}^2]$$

log-sum-exp 是“软最大值”，最小化它会把 Q 值最高的动作往下压；第二项把数据中的动作往上抬。可以证明，学到的 Q 是真实值的下界（在一定条件下），策略不会再被 OOD 动作吸引。

可以试试

• α 从 0 拖到 0.5：绿色曲线在数据外迅速下沉，argmax 跳回数据附近。
• α 拖到 5：数据内部的 Q 被抬得更高，形状也开始偏离真实曲线。
• 行为策略标准差调大：普通拟合本身就足够好，CQL 的作用变小。

相关教程

• 离线强化学习：CQL
• 全部交互工具