Gymnasium 核心 API：reset、step、terminated 与 truncated

五元组

python

obs, info = env.reset(seed=0)
obs, reward, terminated, truncated, info = env.step(action)

terminated：到达了 MDP 的终止状态（FrozenLake 中掉进冰窟或到达终点），之后的价值为 0。
truncated：因为时间限制等 MDP 之外的原因被截断，状态本身并不是终止状态，TD 目标应继续用 $V (s^{'})$ 自举。

FrozenLake 的动作编号是 0 左、1 下、2 右、3 上；is_slippery=True 时，实际方向在“意图方向及其两侧”中等概率选择。

可以试试

不先 reset 就 step，看看会发生什么。
把 max_episode_steps 设成 5，多试几次，观察 truncated=True 出现的时机。
关掉 is_slippery，按“下、下、右、右、下、右”走到终点。

相关教程