主题

模型预测控制：交叉熵方法（CEM） ​

CEM ​

  1. 初始化每个时间步动作的高斯分布 N(μh,σh2)（或用上一时刻的解右移一步作为 warm start）；
  2. 采样 N 条动作序列，用模型计算代价；
  3. 取代价最低的前 K 条（精英），用它们的均值和标准差更新分布；
  4. 重复 I 轮，执行 μ0 或最好的样本的第一个动作。

PETS、PlaNet、TD-MPC 等方法都用 CEM（或其变体 MPPI）作为规划器。

可以试试 ​

  • 拖动“查看第几轮样本”：第 1 轮样本到处都是，第 4 轮已经收成一束。
  • 关掉 warm start：每一步都从零开始，计划质量下降、轨迹更抖。
  • 精英比例调到 0.5：分布收缩变慢；调到 0.05：容易过早收敛。

相关教程 ​