# 智能体—环境交互循环：一步一步看 S、A、R

> 来源：https://dqn.cn/tools/agent-env-loop ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/agent-env-loop）

## 交互循环

每个时间步 $t$：

1. 环境给出观测 $O_t$（完全可观测时就是状态 $S_t$）；
2. 智能体根据策略选择动作 $A_t$；
3. 环境根据动力学 $p(s', r \mid s, a)$ 转移到 $S_{t+1}$，并给出奖励 $R_{t+1}$。

一条轨迹就是 $\tau = (S_0, A_0, R_1, S_1, A_1, R_2, \ldots)$。演示中的“打滑”是环境动力学的一部分：智能体只能选择动作，不能决定结果。

## 可以试试

- 把打滑概率调到 0.5，体会随机环境中“同样的动作不一定得到同样的结果”。
- 勾选“部分可观测”：观测只告诉你四周有没有墙，好几个格子看起来一模一样。此时观测不满足马尔可夫性，需要记忆（如 RNN）或信念状态。

## 相关教程

- [智能体与环境](https://dqn.cn/basics/agent-environment)
- [全部交互工具](https://dqn.cn/tools/)