# DQN.CN

> DQN.CN 是面向中文读者的强化学习学习站：从 MDP、贝尔曼方程、Q-learning 入门，到 DQN、PPO、SAC、离线 RL 与大模型 RLHF / DPO / GRPO，提供系统教程、可运行代码、论文速递与交互工具。

DQN.CN（https://dqn.cn）是中文强化学习一站式学习平台，全部内容为简体中文。教程中的代码均在 CPU 上实际运行过，页面中的数值来自实测输出；术语译法见术语表。
每个页面都提供 Markdown 原文：把网页地址加上 `.md` 后缀即可（目录页为 `/目录/index.md`），例如 https://dqn.cn/advanced/dqn.md。全站正文合集见 https://dqn.cn/llms-full.txt。
引用时请注明来源 DQN.CN 与页面地址；文字内容采用 CC BY-NC-SA 4.0 许可，代码采用 MIT 许可。

## 入门教程

- [入门教程](https://dqn.cn/basics/index.md): 强化学习入门教程目录：共 10 篇，从什么是强化学习、智能体与环境、多臂老虎机、马尔可夫决策过程、贝尔曼方程，到动态规划、蒙特卡洛、时序差分、Q-learning 与 SARSA，以及 Gymnasium 上手，含前置知识、学习建议与运行环境说明。
- [什么是强化学习](https://dqn.cn/basics/what-is-rl.md): 强化学习入门第一课：用直观例子讲清什么是强化学习（Reinforcement Learning），它与监督学习、无监督学习的区别，智能体、环境、奖励、策略、价值等核心概念，以及游戏、机器人、推荐系统和大模型对齐中的典型应用。
- [智能体与环境](https://dqn.cn/basics/agent-environment.md): 讲解强化学习中智能体与环境的交互循环：状态与观测的区别、离散与连续动作空间、奖励设计与奖励欺骗、回合制与持续性任务，并用 Gymnasium 代码演示一个完整的交互循环，为学习马尔可夫决策过程打基础。
- [多臂老虎机](https://dqn.cn/basics/bandit.md): 用多臂老虎机讲清强化学习中的探索与利用：累积懊悔的定义与对数下界，固定与衰减 ε-贪心，由 Hoeffding 不等式推导 UCB1，Beta-伯努利汤普森采样，并给出 10 臂老虎机 200 次重复实验的实测懊悔对比与代码。
- [马尔可夫决策过程（MDP）](https://dqn.cn/basics/mdp.md): 系统讲解马尔可夫决策过程 MDP：从马尔可夫过程、马尔可夫奖励过程到 MDP，五元组定义、折扣回报、策略与价值函数、最优策略、占用度量，并用两状态 MDP 和可运行代码验证价值与占用度量的关系，是理解所有强化学习算法的数学基础。
- [贝尔曼方程](https://dqn.cn/basics/bellman.md): 详解贝尔曼方程：从回报的递归性质推导贝尔曼期望方程和贝尔曼最优方程，用回溯图直观理解，并在 FrozenLake 上用迭代法和解析法求解随机策略的价值函数（附可运行 Python 代码），是动态规划、TD 学习和 Q-learning 的理论核心。
- [动态规划](https://dqn.cn/basics/dynamic-programming.md): 讲解强化学习中的动态规划方法：迭代策略评估、策略改进定理、策略迭代、价值迭代与广义策略迭代（GPI），附 FrozenLake 上策略迭代与价值迭代的 NumPy 实现和实测结果，并说明 DP 需要完整模型、维度灾难等局限。
- [蒙特卡洛方法](https://dqn.cn/basics/monte-carlo.md): 讲解强化学习中的蒙特卡洛（MC）方法：首次访问与每次访问 MC 预测、探索性起始与 ε-软策略的 MC 控制、重要性采样与异策略 MC，并在 Gymnasium 的 21 点（Blackjack）环境上实现 MC 控制，附实测结果与常见误区。
- [时序差分（TD）学习](https://dqn.cn/basics/td-learning.md): 讲解时序差分 TD 学习：TD(0) 预测与 TD 误差、TD 与蒙特卡洛的偏差-方差权衡、n 步 TD 与 TD(λ) 资格迹，并通过经典随机游走（Random Walk）实验对比 TD 与 MC 的 RMS 误差，附可运行的 NumPy 代码与实测结果。
- [Q-learning 与 SARSA](https://dqn.cn/basics/q-learning-sarsa.md): 详解 Q-learning 与 SARSA：更新公式、同策略与异策略的区别、Expected SARSA、n 步 SARSA 与 Q-learning 收敛性证明思路，并在 CliffWalking 悬崖行走环境中实测对比训练回报与学到的路径，附可运行代码和调参技巧，是通往 DQN 的桥梁。
- [Gymnasium 上手：CartPole 与 FrozenLake](https://dqn.cn/basics/gymnasium.md): Gymnasium 强化学习环境库上手教程：安装与核心 API（reset、step、terminated 与 truncated）、FrozenLake 上的表格 Q-learning、CartPole 随机策略基线、渲染录制、常用 Wrapper 与自定义环境，代码均实测可运行。

## 进阶教程

- [进阶教程](https://dqn.cn/advanced/index.md): 深度强化学习进阶教程目录：DQN 及其改进、REINFORCE、Actor-Critic、TRPO、PPO、DDPG、TD3、SAC、目标导向 RL 与 HER，以及 MPC、MBPO、离线 RL、多智能体、模仿学习和大模型 RLHF / DPO / GRPO，每篇附 PyTorch 代码与实测结果。
- [DQN：深度 Q 网络](https://dqn.cn/advanced/dqn.md): DQN（Deep Q-Network）深度 Q 网络完整教程：从 Q-learning 到函数近似，经验回放与目标网络两大稳定技巧、损失函数、ε-贪心探索、算法流程，附 CartPole 上的 PyTorch 实现与多种子实测结果，以及 Atari 预处理和 Nature DQN 网络结构。
- [DQN 改进：Double / Dueling / PER / Rainbow](https://dqn.cn/advanced/dqn-improvements.md): 系统讲解 DQN 的主要改进：Double DQN 缓解过估计、Dueling 网络结构、优先经验回放 PER、多步回报、分布式 C51、Noisy Nets 以及集成六项改进的 Rainbow，附可开关各项改进的 PyTorch 代码与 CartPole 实测对比（如实报告无稳定提升）。
- [策略梯度：REINFORCE](https://dqn.cn/advanced/reinforce.md): 策略梯度入门教程：为什么要直接优化策略、策略梯度定理推导、REINFORCE 算法与基线（baseline）降低方差，附 CartPole 上的 PyTorch REINFORCE 实现与实测训练曲线，并分析策略梯度方法的优缺点与常见实现错误。
- [Actor-Critic：A2C / A3C](https://dqn.cn/advanced/actor-critic.md): Actor-Critic 方法详解：Actor 与 Critic 的分工、A3C 异步并行与 A2C 同步版本、广义优势估计 GAE 的推导与 λ 的作用、熵正则化，附 Gymnasium 向量环境上的 A2C + GAE PyTorch 实现、实测结果和调参技巧。
- [TRPO：信赖域策略优化](https://dqn.cn/advanced/trpo.md): TRPO（Trust Region Policy Optimization）教程：为什么策略梯度需要信赖域、带 KL 散度约束的代理目标、自然梯度、共轭梯度与回溯线搜索的求解方法，附 CartPole 上的 PyTorch 实现与实测结果，并说明 TRPO 与 PPO 的关系。
- [PPO：近端策略优化](https://dqn.cn/advanced/ppo.md): PPO 近端策略优化完整教程：裁剪代理目标、KL 惩罚、价值损失与熵奖励等实现细节，附 CartPole 上从零实现的 PPO（GAE、并行环境、小批量）和 Pendulum 连续动作 PPO 的实测结果与调参经验。
- [DDPG：深度确定性策略梯度](https://dqn.cn/advanced/ddpg.md): DDPG（Deep Deterministic Policy Gradient）教程：为什么 DQN 不能直接用于连续动作、确定性策略梯度定理、Actor 与 Critic 的更新、目标网络软更新与探索噪声，附 Pendulum-v1 上的 PyTorch 实现与实测回报，以及调参技巧和常见问题。
- [TD3：双延迟深度确定性策略梯度](https://dqn.cn/advanced/td3.md): TD3（Twin Delayed DDPG）教程：Actor-Critic 中 Q 值高估问题的来源，TD3 的三项关键改进——截断双 Q 学习、延迟策略更新、目标策略平滑，附 Pendulum-v1 上的 PyTorch 实现与实测结果，并比较 TD3 与 DDPG、SAC 的异同。
- [SAC：柔性 Actor-Critic](https://dqn.cn/advanced/sac.md): SAC（Soft Actor-Critic）详解：最大熵强化学习目标、Soft Q 函数与软贝尔曼方程、策略更新与重参数化技巧、tanh 压缩的对数概率修正、温度系数 α 的自动调节，附 Pendulum-v1 上的 PyTorch 实现、CartPole 上的离散动作 SAC、实测结果与调参建议。
- [目标导向强化学习与 HER](https://dqn.cn/advanced/goal-conditioned.md): 目标导向强化学习（Goal-Conditioned RL）教程：目标条件策略与价值函数、稀疏奖励的探索难题、后见经验回放 HER 的重标注思想与 final/future 策略，并用自建二维到达任务实测 DDPG 与 DDPG+HER 的成功率，附 CPU 可运行代码。
- [基于模型的强化学习](https://dqn.cn/advanced/model-based.md): 基于模型的强化学习（Model-Based RL）教程：为什么学习环境模型能提升样本效率，Dyna 架构、模型预测控制 MPC、MBPO、世界模型 Dreamer 系列与 MuZero 的核心思想，附 Dyna-Q 迷宫实验（规划步数对学习速度的影响）与方法对比。
- [模型预测控制：随机打靶、CEM 与 PETS](https://dqn.cn/advanced/mpc.md): 基于学习模型的模型预测控制（MPC）完整教程：滚动时域规划、随机打靶、交叉熵方法 CEM、概率神经网络集成与 PETS 的粒子传播，附 Pendulum 上三种方法的可运行代码与实测回报，以及与无模型 SAC 的样本效率对比。
- [MBPO：基于模型的策略优化](https://dqn.cn/advanced/mbpo.md): MBPO（Model-Based Policy Optimization）教程：模型误差与展开长度的权衡、从真实状态出发的短视界分支展开、概率集成模型与精英成员、高更新比的 SAC 训练，附 Pendulum 上 MBPO、SAC 与同更新比 SAC 的实测对比和代码。
- [离线强化学习](https://dqn.cn/advanced/offline-rl.md): 离线强化学习（Offline RL）教程：分布偏移与外推误差，BCQ、TD3+BC、保守 Q 学习 CQL、IQL 与 Decision Transformer，附 CartPole 离散 CQL 和 Pendulum 连续 CQL 的实测对比。
- [多智能体强化学习](https://dqn.cn/advanced/multi-agent.md): 多智能体强化学习（MARL）教程：随机博弈、独立学习的非平稳性、集中式训练分散式执行 CTDE、VDN 与 QMIX、MADDPG、自博弈，附攀爬博弈实验与 MPE simple_spread 上 IPPO、MAPPO 的代码和实测。
- [模仿学习](https://dqn.cn/advanced/imitation-learning.md): 模仿学习（Imitation Learning）教程：行为克隆 BC 与复合误差、DAgger 数据聚合、逆强化学习与最大熵 IRL、生成对抗模仿学习 GAIL，附 CartPole 上 BC、DAgger 的多种子实测和 GAIL 奖励形式对比实验。
- [RLHF 与大模型中的强化学习（PPO / DPO / GRPO）](https://dqn.cn/advanced/rlhf-llm.md): 大语言模型中的强化学习教程：把文本生成看作强化学习，RLHF 三阶段流程（SFT、奖励模型、PPO+KL 惩罚），DPO 直接偏好优化的推导，DeepSeek 的 GRPO 组相对策略优化，可验证奖励 RLVR、奖励欺骗风险与 TRL、OpenRLHF、veRL 等开源工具，附玩具实验代码。

## 论文速递

- [【论文速递】DreamerV3：一套超参数通吃 150 多个任务的世界模型](https://dqn.cn/papers/2026-10-dreamerv3.md): 解读 Hafner 等人的 DreamerV3 论文：RSSM 世界模型、在想象轨迹中训练的 Actor-Critic，以及 symlog、KL 平衡、回报百分位归一化等稳健化技巧，如何让一套固定超参数在 150 多个任务上工作并在 Minecraft 中收集钻石。
- [【论文速递】DeepSeekMath 与 GRPO：去掉价值网络的组相对策略优化](https://dqn.cn/papers/2026-10-deepseekmath-grpo.md): 解读 DeepSeekMath 论文：1200 亿 token 数学语料的构建方法，用组内相对奖励代替价值网络的 GRPO（组相对策略优化）算法，以及论文对强化学习为何能提升数学推理能力的统一分析。
- [【论文速递】DPO：你的语言模型其实是一个奖励模型](https://dqn.cn/papers/2026-10-dpo.md): 解读 Rafailov 等人 2023 年的 DPO 论文：从 KL 约束的奖励最大化推导出闭式最优策略，把 RLHF 的奖励建模与强化学习化简为一个偏好数据上的分类损失，以及 DPO 的实验结论、优点与局限。
- [【论文速递】CQL：保守 Q 学习与离线强化学习](https://dqn.cn/papers/2026-10-cql.md): 解读 Kumar 等人 2020 年的 CQL（保守 Q 学习）论文：为什么离线强化学习会因分布外动作而高估价值，CQL 如何通过正则项压低分布外动作的 Q 值、学到真实价值的下界，以及在 D4RL 上的实验结果。
- [【论文速递】Decision Transformer：把强化学习看作序列建模](https://dqn.cn/papers/2026-10-decision-transformer.md): 解读 Chen 等人 2021 年的 Decision Transformer 论文：把离线强化学习转化为以期望回报为条件的序列建模问题，用自回归 Transformer 和监督学习生成动作，在 Atari、D4RL 上与 CQL 等方法的对比及其局限。
- [【论文速递】SAC：最大熵框架下的离策略 Actor-Critic](https://dqn.cn/papers/2026-10-sac.md): 解读 Haarnoja 等人 2018 年的 Soft Actor-Critic 论文及其后续版本：最大熵强化学习目标、软策略迭代的收敛性、重参数化的策略更新与温度系数自动调节，以及 SAC 在连续控制基准上的样本效率与稳定性。
- [【论文速递】PPO：近端策略优化算法](https://dqn.cn/papers/2026-10-ppo.md): 解读 Schulman 等人 2017 年的 PPO 论文《Proximal Policy Optimization Algorithms》：裁剪代理目标与自适应 KL 惩罚、多轮小批量更新、在 MuJoCo 与 Atari 上与 TRPO、A2C、ACER 的对比，以及 PPO 为何如此流行。
- [【论文速递】DQN：用深度强化学习达到人类水平的控制](https://dqn.cn/papers/2026-10-dqn-nature.md): 解读 Mnih 等人 2015 年发表于 Nature 的经典 DQN 论文《Human-level control through deep reinforcement learning》：经验回放与目标网络如何稳定深度 Q 学习，在 49 款 Atari 游戏上的结果，以及局限与后续影响。
- [论文速递](https://dqn.cn/papers/index.md): DQN.CN 论文速递：用中文深入解读强化学习领域的重要论文，涵盖 DQN、PPO、SAC 等经典算法，CQL、Decision Transformer 等离线 RL 方法，DreamerV3 世界模型，以及 DPO、GRPO 等大模型强化学习，支持 RSS 订阅。

## 代码实战与算法对照

- [代码实战](https://dqn.cn/code/index.md): 强化学习代码实战：汇总本站全部可运行的 Python / PyTorch 单文件实现与对应的 Jupyter notebook，涵盖表格方法、老虎机、DQN、PPO、SAC、HER、MPC、MBPO、多智能体、GAIL 与离线 RL，附实测结果、复现方法、调参建议与 notebook 运行说明。
- [算法对照表](https://dqn.cn/code/algorithm-comparison.md): 强化学习算法对照表：从动作空间、同策略或异策略、样本效率和适用场景等维度对比老虎机算法、Q-learning、DQN、PPO、SAC、HER、MPC、MBPO、IPPO/MAPPO、GAIL、CQL 等方法，给出选型建议，并汇总本站实测结果。

## 学习路线、术语表与学习资料

- [学习路线](https://dqn.cn/roadmap/index.md): 强化学习学习路线图：针对零基础、已有机器学习基础、科研或工程三类读者分别给出循序渐进的学习路线，包含每阶段对应的本站教程、预计学时与检验标准、落地挑战与展望和配套练习，帮助你规划从入门到深度强化学习的学习路径。
- [强化学习术语表](https://dqn.cn/glossary/index.md): 强化学习术语表：收录智能体、马尔可夫决策过程、贝尔曼方程、时序差分、DQN、PPO、SAC、GAE、离线 RL、RLHF、DPO、GRPO 等常用术语的中英文对照、常见缩写与一句话定义，并链接到本站对应的详细教程，方便查阅与引用。
- [学习资料](https://dqn.cn/resources/index.md): 强化学习学习资料导航：精选经典教材与中文书籍、国内外公开课、按方向整理的必读论文清单，以及 Gymnasium、Stable-Baselines3、CleanRL 等常用开源库，并给出不同基础读者使用这些资料的建议。
- [书籍](https://dqn.cn/resources/books.md): 强化学习书籍推荐：Sutton 与 Barto 的《强化学习》等经典教材、深度强化学习与理论方向的进阶读物，以及适合中文读者的书籍，按零基础、工程实践和科研等不同目标给出阅读顺序建议。
- [公开课](https://dqn.cn/resources/courses.md): 强化学习公开课推荐清单：David Silver 强化学习课程、UC Berkeley CS285 深度强化学习、Hugging Face 深度强化学习课程等国内外优质课程的内容、难度与适合人群，并给出结合本站教程的学习建议。
- [开源库](https://dqn.cn/resources/libraries.md): 强化学习开源库推荐：Gymnasium、PettingZoo 等环境库，Stable-Baselines3、CleanRL、Tianshou、RLlib 等算法库，以及大模型 RL 框架，介绍各自特点、如何选择与安装，并给出 Stable-Baselines3 训练 PPO 的入门示例。
- [必读论文](https://dqn.cn/resources/papers.md): 强化学习必读论文清单：按基于价值的方法、策略梯度与 Actor-Critic、连续控制、博弈与规划、离线 RL、大模型与 RL 六个方向整理的经典论文，附 arXiv 链接与一句话说明，以及本站论文速递中文解读入口。

## 交互工具

- [交互工具](https://dqn.cn/tools/index.md): DQN.CN 强化学习交互工具合集：无需安装、在浏览器中直接运行，包括网格世界价值迭代与策略迭代可视化、多臂老虎机探索策略对比、折扣回报与 GAE 计算器、训练曲线对比，帮助直观理解强化学习核心概念。
- [多臂老虎机模拟器](https://dqn.cn/tools/bandit.md): 多臂老虎机在线模拟器：在浏览器中对比 ε-贪心、UCB 与 Thompson 采样三种探索策略，实时绘制平均奖励、累积遗憾和选中最优臂比例曲线，并附实测结论，帮助理解强化学习中的探索与利用权衡。
- [训练曲线对比工具](https://dqn.cn/tools/curves.md): 强化学习训练曲线在线对比工具：粘贴或上传 CSV 格式的训练日志，在同一张图中对比多条训练曲线，支持 EMA 平滑，默认载入本站 A2C、PPO、TRPO 的实测日志，数据只在浏览器本地处理，不会上传到服务器。
- [网格世界：价值迭代 / 策略迭代可视化](https://dqn.cn/tools/gridworld.md): 网格世界价值迭代与策略迭代在线可视化工具：在浏览器中编辑网格地图，调节折扣因子 γ 与滑动概率，逐步观察价值函数与最优策略箭头如何收敛，直观理解贝尔曼方程与动态规划。
- [折扣回报与 GAE 计算器](https://dqn.cn/tools/returns.md): 折扣回报与 GAE 在线计算器：输入一条轨迹的奖励和价值估计，逐步计算折扣回报 G_t、TD 误差 δ_t、GAE 优势与 λ-回报，并展示中间计算过程，直观理解折扣因子 γ 和 GAE 参数 λ 的作用。

## Optional

- [关于与合作](https://dqn.cn/about/index.md): 关于 DQN.CN：一个面向中文读者的强化学习学习网站，介绍网站定位、内容原则（可运行、可复现、如实报告）、版权与许可（CC BY-NC-SA 4.0 与 MIT）、合作方式、联系方式与更新日志。
- [社区](https://dqn.cn/community/index.md): DQN.CN 强化学习社区：交流群与讨论渠道、交流规范、高效提问指南、如何贡献教程与论文速递、内容规范与授权说明，以及零基础怎么入门、没有 GPU 能否学习、结果不一致怎么办等常见问题解答。
- [论文速递写作模板与规范](https://dqn.cn/papers/template.md): DQN.CN 论文速递作者指南与写作模板：文件命名与 frontmatter 规范、推荐文章结构（论文信息、一句话总结、核心方法、实验结论、优缺点）、公式与引用写作规范，以及投稿与审核流程。