交互工具

这里的小工具全部在你的浏览器中运行，不需要安装任何软件，也不会上传你的数据。它们的目的是把教程中的公式“变成可以拖动的东西”：调一调 $\gamma$，看看价值函数怎么变；换一种探索策略，看看遗憾曲线怎么走。

🗺️网格世界：价值 / 策略迭代编辑墙、终点、陷阱，调节 γ 和滑动概率，逐步观察价值迭代和策略迭代的收敛过程对应教程：贝尔曼方程 · 动态规划

🎰多臂老虎机模拟器对比 ε-贪心、UCB、Thompson 采样的平均奖励、累积遗憾和最优臂比例对应教程：多臂老虎机 · 什么是强化学习

🧮折扣回报与 GAE 计算器输入一条轨迹的奖励和价值估计，逐步计算回报 G_t、TD 误差 δ_t、GAE 优势和 λ-回报对应教程：MDP · Actor-Critic · PPO

📈训练曲线对比粘贴或上传多条训练曲线（CSV），平滑后放在一张图上比较对应教程：代码实战

实现说明

所有工具都是嵌入在 VitePress 页面中的 Vue 组件，算法部分是独立的纯 JavaScript 模块（位于仓库的 docs/.vitepress/theme/lib/ 目录），没有使用任何第三方图表库。欢迎阅读源码，或者按 贡献指南 提交新的工具。

计划中的工具

下面这些工具还在计划中，欢迎在 社区 告诉我们你最想要哪一个：

• Q-learning / SARSA 悬崖行走动画：逐回合观察两种算法学到的路径差异；
• 策略梯度可视化：在二维动作空间中观察策略分布如何随梯度移动；
• PPO 裁剪目标可视化：拖动优势 $\hat{A}$ 和概率比 $r_t(\theta )$，观察 $L^{CLIP}$ 的形状。