# TD3 的目标策略平滑：给目标动作加噪声

> 来源：https://dqn.cn/tools/target-smoothing ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/target-smoothing）

## 目标策略平滑

$$
\tilde a' = \text{clip}\big(\mu_{\theta'}(s') + \text{clip}(\varepsilon, -c, c),\; a_{\text{low}}, a_{\text{high}}\big), \quad \varepsilon \sim \mathcal{N}(0, \sigma^2)
$$

这相当于用 $\mathbb{E}_\varepsilon[Q(s', \mu(s') + \varepsilon)]$ 作为目标，对 Critic 起到正则化作用：价值函数在动作上应该是平滑的，窄尖峰多半是拟合误差。

## 可以试试

- 关掉平滑：目标值等于尖峰顶部，远高于真实值。
- 尖峰宽度调大到 0.3：它不再“窄”，平滑也去不掉——这时它更像真实的结构。
- σ 调到 0.5：尖峰被抹平，但真实 Q 的峰值附近也被拉低了一些。

## 相关教程

- [TD3](https://dqn.cn/advanced/td3)
- [全部交互工具](https://dqn.cn/tools/)