行为克隆的复合误差：O(εT²) 与 O(εT)

复合误差

假设学生在专家访问过的状态上每步出错的概率为 $\epsilon$。行为克隆从未见过“出错之后”的状态，一旦偏离就可能一直错下去，期望代价 $\sum _t[1-(1-\epsilon {)}^t]\approx \epsilon T^2/2$（Ross & Bagnell, 2010）。DAgger 在学生自己访问的状态上收集专家标注，偏离后也知道怎么纠正，代价降为 $O(\epsilon T)$。

可以试试

• T 从 50 拖到 300：行为克隆的红色区域越来越多，DAgger 基本不变。
• ε 调到 0.005：即使出错率很低，长时域下行为克隆仍会积累大量误差。
• ρ 调到 0.05：DAgger 纠正得慢，代价也会上升，但仍然是线性增长。

相关教程

• 模仿学习
• 全部交互工具