进阶教程

进阶教程覆盖深度强化学习的主流算法与前沿方向：基于价值的 DQN 家族，基于策略梯度的 REINFORCE、Actor-Critic、TRPO 与 PPO，面向连续控制的 DDPG、TD3、SAC 与目标导向 RL（HER），以及基于模型的 RL（MPC、MBPO）、离线 RL、多智能体 RL、模仿学习和大语言模型中的 RL。阅读前建议先掌握 入门教程 中的 MDP、贝尔曼方程与 Q-learning。

目录

基于价值的方法

DQN经验回放 + 目标网络，用神经网络近似 Q 函数

DQN 改进Double / Dueling / PER / Rainbow 各解决什么问题

策略梯度与 Actor-Critic

策略梯度：REINFORCE策略梯度定理与基线，直接优化策略

Actor-Critic：A2C / A3C用价值网络降低方差，GAE 优势估计

TRPO信任域约束，让每次策略更新更稳

PPO裁剪目标，最常用的策略优化算法

连续控制

DDPG确定性策略梯度，连续动作的 Actor-Critic

TD3双 Q、延迟更新与目标平滑，修正高估

SAC最大熵 RL，自动调节温度系数

目标导向 RL 与 HER稀疏奖励下用事后经验回放学会达成目标

前沿方向

基于模型的强化学习学习环境模型，用想象的经验提升样本效率

模型预测控制随机打靶、CEM 与 PETS

MBPO模型生成短轨迹，配合 SAC 训练

离线强化学习只用固定数据集：BC、CQL 等

多智能体强化学习IPPO、MAPPO 与集中训练分散执行

模仿学习行为克隆、DAgger 与 GAIL

RLHF 与大模型中的 RLPPO、DPO 与 GRPO

前置知识

• PyTorch 基础：张量、自动求导、nn.Module
• 入门教程中的 MDP、贝尔曼方程、TD 学习与 Q-learning

学习建议

• 主线：DQN → DQN 改进 → REINFORCE → Actor-Critic → TRPO → PPO → DDPG → TD3 → SAC。每一节都在前一节的基础上解决一个具体问题，建议按顺序阅读。
• 前沿方向：基于模型（总览 → MPC → MBPO）、离线、多智能体、模仿学习、RLHF 五个专题相对独立，可以按兴趣选读；目标导向 RL 与 HER 建议在读完 DDPG 后阅读。
• 记号：沿用入门教程的记号；策略参数记为 $\theta$，价值网络参数记为 $w$ 或 $\varphi$，目标网络参数加上标 ${}^{-}$。

代码与实测结果

每个算法页面都附有完整、可直接运行的 PyTorch 代码（位于仓库的 examples/advanced/ 目录），并在本站环境（CPU、单线程、短训练预算）中实际运行过。页面中给出的都是真实输出，没有挑选“最好看”的结果；不稳定、未复现论文结论的情况也如实写明。汇总见 代码实战。

pip install torch gymnasium numpy