# MBPO：模型误差如何随展开长度累积

> 来源：https://dqn.cn/tools/model-rollout ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/model-rollout）

## 分支展开

MBPO 从回放缓冲区的**真实状态**出发，用学到的模型展开 $k$ 步，把这些模型数据和真实数据一起喂给 SAC。理论分析表明，回报的误差界里有一项随 $k$ 增长（复合模型误差），另一项随 $k$ 减小（与数据分布的偏移），最优的 $k$ 通常很短。

## 可以试试

- 模型误差 0.08、k = 5：绿色短线都贴着黑线，红色虚线很快就跑到别处。
- 把 k 拖到 40：每条分支都和红线一样偏得很远。
- 模型误差调到 0：任何长度的展开都准确。

## 相关教程

- [MBPO](https://dqn.cn/advanced/mbpo)
- [全部交互工具](https://dqn.cn/tools/)