# 【论文速递】CQL：保守 Q 学习与离线强化学习

> 来源：https://dqn.cn/papers/2026-10-cql ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-10-19 ｜ 更新：2026-10-30 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

## 论文信息

| 项目 | 内容 |
| --- | --- |
| 标题 | *Conservative Q-Learning for Offline Reinforcement Learning* |
| 作者 | Aviral Kumar, Aurick Zhou, George Tucker, Sergey Levine |
| 机构 | UC Berkeley、Google Research |
| 发表 | NeurIPS 2020 |
| 链接 | [arXiv:2006.04779](https://arxiv.org/abs/2006.04779) |
| 关键词 | 离线 RL、分布偏移、价值下界、正则化 |

## 一句话总结

离线 RL 中，标准离策略算法会高估数据集中没出现过的动作的价值，策略又恰好去追逐这些被高估的动作；CQL 在 Bellman 误差之外加一个简单的正则项，**压低（当前策略认为好的）任意动作的 Q 值、抬高数据集中动作的 Q 值**，从理论上保证学到的策略价值是真实价值的下界，在 D4RL 和离线 Atari 上大幅超过已有方法。

## 背景：外推误差

[离线强化学习](https://dqn.cn/advanced/offline-rl)只能使用固定数据集 $D$（由某个行为策略 $\pi_\beta$ 收集），不能再与环境交互。直接把 DQN、SAC 等离策略算法用在 $D$ 上通常会失败：

- Bellman 目标 $r + \gamma\,\mathbb{E}_{a'\sim\pi}[Q(s',a')]$ 需要评估策略 $\pi$ 选出的动作 $a'$，而这些动作可能从未在数据中出现（分布外，OOD）；
- 网络对 OOD 动作的 Q 值预测没有任何数据约束，误差可能很大；策略优化又专门挑 Q 值高的动作，于是**被高估的 OOD 动作被选中**，误差通过自举不断累积；
- 在线 RL 中，智能体去尝试这些动作就能纠正错误；离线时没有这个机会。

此前的方法（BEAR、BRAC 等）主要通过**约束策略**接近行为策略来缓解，但需要估计 $\pi_\beta$，且约束过紧会限制改进。CQL 换了一个思路：**直接让 Q 函数本身变得保守**。

## 核心方法

### 1. 逐点下界（式 1）

在标准 Bellman 误差上加一项，最小化某个分布 $\mu$ 下的 Q 值：

$$
\hat Q^{k+1} \leftarrow \arg\min_Q\ \alpha\,\mathbb{E}_{s\sim D, a\sim\mu(a|s)}[Q(s,a)] + \frac{1}{2}\mathbb{E}_{s,a,s'\sim D}\Big[\big(Q(s,a) - \hat{\mathcal{B}}^\pi \hat Q^k(s,a)\big)^2\Big]
$$

论文证明，对足够大的 $\alpha$，得到的 $\hat Q^\pi$ 是 $Q^\pi$ 的逐点下界。但这个下界过于保守。

### 2. 更紧的价值下界（式 2）

再加上一项，**最大化数据集中动作的 Q 值**：

$$
\hat Q^{k+1} \leftarrow \arg\min_Q\ \alpha\Big(\mathbb{E}_{s\sim D, a\sim\mu}[Q(s,a)] - \mathbb{E}_{s\sim D, a\sim\hat\pi_\beta}[Q(s,a)]\Big) + \frac{1}{2}\mathbb{E}_{s,a,s'\sim D}\Big[\big(Q(s,a) - \hat{\mathcal{B}}^\pi \hat Q^k(s,a)\big)^2\Big]
$$

当 $\mu = \pi$ 时，$\hat Q^\pi$ 不再是逐点下界，但其在策略下的期望 $\mathbb{E}_{\pi(a|s)}[\hat Q^\pi(s,a)] \le V^\pi(s)$ 是状态价值的下界（论文定理 3.2）。直观理解：数据里常见的动作可以被抬高，策略想去的“陌生”动作被压低。

### 3. CQL(H)：实际使用的形式

把 $\mu$ 取为使上式最大的分布并加上熵正则，内层最大化有闭式解，正则项变为 log-sum-exp：

$$
\min_Q\ \alpha\,\mathbb{E}_{s\sim D}\Big[\log\sum_a \exp(Q(s,a)) - \mathbb{E}_{a\sim\hat\pi_\beta(a|s)}[Q(s,a)]\Big] + \frac{1}{2}\mathbb{E}_{s,a,s'\sim D}\Big[\big(Q - \hat{\mathcal{B}}^{\pi_k}\hat Q^k\big)^2\Big]
$$

- 离散动作：log-sum-exp 可以直接精确计算（`torch.logsumexp`），实现上就是在 DQN 损失上加几行代码；
- 连续动作：用均匀分布和当前策略的样本做重要性采样来估计；
- 论文还证明 CQL 的更新是“拉大差距”（gap-expanding）的：数据内动作与 OOD 动作的 Q 值差距大于真实 Q 函数中的差距，从而隐式地把策略约束在数据分布附近。

下面是在 DQN 基础上的最简写法（论文的离散动作实验实际建立在 QR-DQN 之上，连续动作建立在 SAC 之上，并用 Lagrange 对偶梯度自动调节 $\alpha$）：

```text
# 离散动作版 CQL（在 DQN 基础上修改）
for 每个梯度步:
    从数据集 D 采样 (s, a, r, s', done)
    td_loss  = (Q(s,a) − [r + γ(1−done) max_a' Q_target(s',a')])²
    cql_loss = logsumexp_a Q(s,·) − Q(s,a)        # 压低所有动作，抬高数据动作
    loss = td_loss + α · cql_loss
```

## 关键实验结论

- **D4RL Gym 运动任务**：在单一策略生成的数据集（random、medium、expert）上，CQL 与此前最好的方法相当或略好；在**混合多策略的数据集**（mixed、medium-expert、random-expert）上大幅领先，有时达到 2–3 倍。论文摘要中概括为“经常取得 2–5 倍的最终回报，特别是在复杂、多模态的数据分布上”。
- **Adroit（24 自由度灵巧手，人类演示数据）**：此前的离线 RL 方法普遍不如行为克隆，CQL 的变体是唯一超过 BC 的方法，得分是次优离线 RL 方法的 2–9 倍。AntMaze、Kitchen 等任务上也优于已有方法。
- **离线 Atari**（Pong、Breakout、Qbert、Seaquest、Asterix，使用 Agarwal 等人发布的 DQN 回放数据）：在只用 1% 数据时大幅超过 REM 和 QR-DQN，10% 数据时通常也更好。
- **价值估计**：实测 CQL 学到的价值确实低于真实回报（下界），而对照方法（包括 Q 集成和 BEAR）倾向于高估。

## 优点与局限

**优点**

- 实现简单：在已有的 DQN / SAC 代码上加一个正则项即可；
- 不需要显式估计行为策略；
- 有理论保证（价值下界、策略改进），并在多样化数据上效果突出。

**局限**

- 超参数 $\alpha$ 很关键：太小则仍然高估，太大则过度保守、退化为接近行为克隆；论文在连续控制中用 Lagrange 对偶梯度下降自动调节 $\alpha$，离散控制中则使用固定值；
- 过度保守会限制策略超越数据的能力；
- 正如本站 [离线 RL 教程](https://dqn.cn/advanced/offline-rl) 中的玩具实验所示：在专家数据上 CQL 能修复朴素 DQN 的崩溃，但在“少量专家 + 大量随机”的数据上，简单的行为克隆反而更好——离线 RL 的效果高度依赖数据构成；
- 后续的 IQL、TD3+BC 等方法在更简单的实现下取得了相近或更好的结果。

## 与本站教程的联系

- [离线强化学习](https://dqn.cn/advanced/offline-rl)：包含本文离散动作 CQL 的实现和 CartPole 上的实测，与朴素离线 DQN、BC 对比。
- [DQN](https://dqn.cn/advanced/dqn)、[SAC](https://dqn.cn/advanced/sac)：CQL 的正则项可以直接加在这类算法上（本站离线 RL 教程即在 DQN 上实现）。
- 站内论文速递：[Decision Transformer](https://dqn.cn/papers/2026-10-decision-transformer)，另一条完全不同的离线 RL 路线。

## 参考文献

- Kumar, A., Zhou, A., Tucker, G., & Levine, S. (2020). Conservative Q-Learning for Offline Reinforcement Learning. *NeurIPS*. [arXiv:2006.04779](https://arxiv.org/abs/2006.04779)
- Levine, S., Kumar, A., Tucker, G., & Fu, J. (2020). Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems. [arXiv:2005.01643](https://arxiv.org/abs/2005.01643)
- Fujimoto, S., Meger, D., & Precup, D. (2019). Off-Policy Deep Reinforcement Learning without Exploration. *ICML*. [arXiv:1812.02900](https://arxiv.org/abs/1812.02900)
- Kostrikov, I., Nair, A., & Levine, S. (2022). Offline Reinforcement Learning with Implicit Q-Learning. *ICLR*. [arXiv:2110.06169](https://arxiv.org/abs/2110.06169)
- Fujimoto, S., & Gu, S. S. (2021). A Minimalist Approach to Offline Reinforcement Learning. *NeurIPS*. [arXiv:2106.06860](https://arxiv.org/abs/2106.06860)

## 如何引用本文

DQN.CN 编辑部. 【论文速递】CQL：保守 Q 学习与离线强化学习[EB/OL]. DQN.CN, 2026-10-19（更新于 2026-10-30）. https://dqn.cn/papers/2026-10-cql.