# DDPG 的探索噪声：Ornstein-Uhlenbeck 过程 vs 高斯噪声

> 来源：https://dqn.cn/tools/ou-noise ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/ou-noise）

## OU 过程

$$
x_{t+1} = x_t + \theta(\mu - x_t) + \sigma \varepsilon_t, \quad \varepsilon_t \sim \mathcal{N}(0, 1)
$$

$\theta$ 控制回归均值的速度：$\theta$ 越小，噪声越“黏”，越容易朝同一个方向持续推动。为了公平比较，演示中高斯噪声的标准差取 OU 过程的平稳标准差 $\sigma / \sqrt{\theta(2-\theta)}$。

## 可以试试

- θ = 0.15（DDPG 原论文的值）：OU 曲线是平滑起伏的，高斯噪声是“毛刺”。
- θ = 1：OU 退化成独立噪声，两条曲线和两组小车轨迹几乎一样。
- 实践中 TD3、SAC 都用独立的高斯噪声（或随机策略本身的噪声），在 MuJoCo 等任务上效果并不差。

## 相关教程

- [DDPG：探索噪声](https://dqn.cn/advanced/ddpg)
- [TD3](https://dqn.cn/advanced/td3)
- [全部交互工具](https://dqn.cn/tools/)