模仿学习演示：行为克隆的累积误差与 DAgger 修正

设定

小车以恒定速度前进，动作是转向角 $u\in [-1,1]$。学生策略只看三个特征：偏离中心线的距离 $d$、车头相对赛道方向的偏角 $\phi$、前方弯道的平均曲率 $\kappa$，用 k 近邻（k = 5）回归输出转向。执行时每步加一个小的高斯噪声，模拟真实世界中不可避免的误差。

内置专家是一个“纯跟踪”（pure pursuit）控制器：始终瞄准中心线前方 0.5 处的点。它在任何状态下都知道该怎么转，所以既可以录制演示，也可以充当 DAgger 中的标注员。

行为克隆与 DAgger

行为克隆把模仿当作监督学习：$\underset{\theta }{min}{\mathbb{E}}_{(s,a)\sim {\mathcal{D}}_{\text{expert}}}[\ell ({\pi }_{\theta }(s),a)]$。问题在于训练分布是专家访问的状态，而测试时学生会访问自己造成的状态；一旦偏离，误差会随时间平方增长（Ross & Bagnell, 2010）。

DAgger（Ross et al., 2011）的做法：

1. 用当前数据集训练学生 ${\pi }_i$；
2. 让 ${\pi }_i$ 自己去跑，记录它访问的状态；
3. 请专家为这些状态标注动作，加入数据集；
4. 重复。

可以试试

• 录制专家演示后多点几次“行为克隆：测试”：大多数时候学生会在某个弯道冲出去，冲出前的轨迹往往是慢慢偏离、越偏越远。
• 点“DAgger 迭代一轮”两三次：散点图中出现大量蓝色的“偏离中心”的样本，学生开始能稳定跑完一圈。
• 把执行噪声调成 0：行为克隆也能跑完——误差累积需要“扰动”作为起点。
• 自己开一圈再训练：人的演示通常比专家“抖”，反而覆盖了更多偏离状态，但动作标签也更嘈杂。

相关教程

• 模仿学习
• 离线强化学习
• 全部交互工具