确定性策略梯度：Actor 沿着 Critic 的 ∂Q/∂a 往上爬

DPG 定理

对确定性策略 $a={\mu }_{\theta }(s)$：

$${\mathrm{\nabla }}_{\theta }J={\mathbb{E}}_s[{\mathrm{\nabla }}_{\theta }{\mu }_{\theta }(s){\mathrm{\nabla }}_{a}Q(s,a){|}_{a={\mu }_{\theta }(s)}]$$

不需要对动作积分或取 max，只要 Critic 告诉 Actor“在当前动作附近往哪边改会更好”。演示中的橙色箭头就是 ${\mathrm{\nabla }}_a\hat{Q}$。

可以试试

• 默认设置训练几千步，蓝线会贴近白色虚线。
• 噪声调成 0 后重置训练：Critic 的梯度全是外推出来的，Actor 往往被带到动作边界。
• 勾选“更高的远处峰”：沿梯度上爬停在近处的低峰——确定性策略梯度只能找局部最优。

相关教程

• DDPG
• 全部交互工具