两状态 MDP：策略、价值函数与占用度量

两种视角

给定策略 $\pi$（在 A 以概率 $p$ 前往 B），可以用贝尔曼方程直接解出

$$v_{\pi }(B)=\frac{r_B}{1-\gamma },v_{\pi }(A)=\frac{p(r_{\text{前往}}+\gamma v_{\pi }(B))+(1-p)r_{\text{停留}}}{1-(1-p)\gamma }$$

也可以先算出占用度量 ${\rho }_{\pi }(s,a)$，再用 $J(\pi )=\frac{1}{1-\gamma }⟨{\rho }_{\pi },r⟩$。两者总是相等。

可以试试

• 默认奖励下，$v_{\pi }(A)$ 随 $p$ 单调上升，最优策略是“总是前往”（曲线右端点）。
• 把 γ 调到 0.3：远方 B 的奖励被折扣得厉害，最优策略变成“总是停留”。
• 注意 $v_{\pi }(A)$ 的最大值总在端点 $p=0$ 或 $p=1$：有限 MDP 总存在确定性的最优策略。

相关教程

• 马尔可夫决策过程：占用度量
• 全部交互工具