TD3 的目标策略平滑：给目标动作加噪声

目标策略平滑

$${\tilde{a}}^{\prime }=\text{clip}({\mu }_{{\theta }^{\prime }}(s^{\prime })+\text{clip}(\epsilon ,-c,c),a_{\text{low}},a_{\text{high}}),\epsilon \sim \mathcal{N}(0,{\sigma }^2)$$

这相当于用 ${\mathbb{E}}_{\epsilon }[Q(s^{\prime },\mu (s^{\prime })+\epsilon )]$ 作为目标，对 Critic 起到正则化作用：价值函数在动作上应该是平滑的，窄尖峰多半是拟合误差。

可以试试

• 关掉平滑：目标值等于尖峰顶部，远高于真实值。
• 尖峰宽度调大到 0.3：它不再“窄”，平滑也去不掉——这时它更像真实的结构。
• σ 调到 0.5：尖峰被抹平，但真实 Q 的峰值附近也被拉低了一些。

相关教程

• TD3
• 全部交互工具