# CartPole 在线试玩：手动平衡倒立摆，再看随机搜索学会它

> 来源：https://dqn.cn/tools/cartpole ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-11-01 ｜ 更新：2026-11-01 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> （此处为交互工具，请在网页中使用：https://dqn.cn/tools/cartpole）

## 环境说明

状态 $s = (x, \dot x, \theta, \dot\theta)$：小车位置、速度、杆角、角速度。动作只有两个：向左或向右施加 10 N 的推力。每坚持一步奖励 $+1$，杆角超过 ±12° 或小车超出 ±2.4 就结束，最多 500 步。物理方程与时间步长（0.02 s）和 Gymnasium 的 `CartPole-v1` 一致；手动模式放慢到每秒 30 步，方便人来操作。

## 线性策略与随机搜索

策略是 $a = \mathbb{1}[\,w^\top s > 0\,]$，只有 4 个参数。训练方法是最朴素的爬山法：每轮给 $w$ 加一个均匀噪声，如果 5 局平均成绩更好就接受。它不需要梯度，也不需要价值函数，但在 CartPole 上通常几十轮就能达到 500 分。

这说明了两件事：CartPole 本身很简单（深度 RL 算法在这里“杀鸡用牛刀”）；以及黑盒策略搜索（如进化策略、ARS）在低维问题上是很强的基线。

## 可以试试

- 自己玩：大多数人第一次只能坚持几十步。诀窍是“预判”——杆子刚开始倒时就往同方向推车。
- 随机策略平均只能坚持 20 步左右。
- 训练完成后观察学到的 $w$：杆角和角速度对应的权重通常最大，说明策略主要在“看杆子”。

## 相关教程

- [Gymnasium 上手](https://dqn.cn/basics/gymnasium)
- [DQN](https://dqn.cn/advanced/dqn)
- [REINFORCE](https://dqn.cn/advanced/reinforce)
- [全部交互工具](https://dqn.cn/tools/)