DDPG 的探索噪声：Ornstein-Uhlenbeck 过程 vs 高斯噪声

OU 过程

$$x_{t+1}=x_t+\theta (\mu -x_t)+\sigma {\epsilon }_t,{\epsilon }_t\sim \mathcal{N}(0,1)$$

$\theta$ 控制回归均值的速度：$\theta$ 越小，噪声越“黏”，越容易朝同一个方向持续推动。为了公平比较，演示中高斯噪声的标准差取 OU 过程的平稳标准差 $\sigma /\sqrt{\theta (2-\theta )}$。

可以试试

• θ = 0.15（DDPG 原论文的值）：OU 曲线是平滑起伏的，高斯噪声是“毛刺”。
• θ = 1：OU 退化成独立噪声，两条曲线和两组小车轨迹几乎一样。
• 实践中 TD3、SAC 都用独立的高斯噪声（或随机策略本身的噪声），在 MuJoCo 等任务上效果并不差。

相关教程

• DDPG：探索噪声
• TD3
• 全部交互工具