# 确定性策略梯度：Actor 沿着 Critic 的 ∂Q/∂a 往上爬

> 来源：https://dqn.cn/tools/dpg ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/dpg）

## DPG 定理

对确定性策略 $a = \mu_\theta(s)$：

$$
\nabla_\theta J = \mathbb{E}_{s}\left[\nabla_\theta \mu_\theta(s)\, \nabla_a Q(s, a)\big|_{a = \mu_\theta(s)}\right]
$$

不需要对动作积分或取 max，只要 Critic 告诉 Actor“在当前动作附近往哪边改会更好”。演示中的橙色箭头就是 $\nabla_a \hat Q$。

## 可以试试

- 默认设置训练几千步，蓝线会贴近白色虚线。
- 噪声调成 0 后重置训练：Critic 的梯度全是外推出来的，Actor 往往被带到动作边界。
- 勾选“更高的远处峰”：沿梯度上爬停在近处的低峰——确定性策略梯度只能找局部最优。

## 相关教程

- [DDPG](https://dqn.cn/advanced/ddpg)
- [全部交互工具](https://dqn.cn/tools/)