MBPO：模型误差如何随展开长度累积

分支展开

MBPO 从回放缓冲区的真实状态出发，用学到的模型展开 $k$ 步，把这些模型数据和真实数据一起喂给 SAC。理论分析表明，回报的误差界里有一项随 $k$ 增长（复合模型误差），另一项随 $k$ 减小（与数据分布的偏移），最优的 $k$ 通常很短。