智能体—环境交互循环：一步一步看 S、A、R

交互循环

每个时间步 $t$：

1. 环境给出观测 $O_t$（完全可观测时就是状态 $S_t$）；
2. 智能体根据策略选择动作 $A_t$；
3. 环境根据动力学 $p(s^{\prime },r\mid s,a)$ 转移到 $S_{t+1}$，并给出奖励 $R_{t+1}$。

一条轨迹就是 $\tau =(S_0,A_0,R_1,S_1,A_1,R_2,\dots )$。演示中的“打滑”是环境动力学的一部分：智能体只能选择动作，不能决定结果。

可以试试

• 把打滑概率调到 0.5，体会随机环境中“同样的动作不一定得到同样的结果”。
• 勾选“部分可观测”：观测只告诉你四周有没有墙，好几个格子看起来一模一样。此时观测不满足马尔可夫性，需要记忆（如 RNN）或信念状态。

相关教程

• 智能体与环境
• 全部交互工具