CartPole 在线试玩：手动平衡倒立摆，再看随机搜索学会它

环境说明

状态 $s=(x,\dot{x},\theta ,\dot{\theta })$：小车位置、速度、杆角、角速度。动作只有两个：向左或向右施加 10 N 的推力。每坚持一步奖励 $+1$，杆角超过 ±12° 或小车超出 ±2.4 就结束，最多 500 步。物理方程与时间步长（0.02 s）和 Gymnasium 的 CartPole-v1 一致；手动模式放慢到每秒 30 步，方便人来操作。

线性策略与随机搜索

策略是 $a=\mathbb{1}[w^{\mathrm{\top }}s>0]$，只有 4 个参数。训练方法是最朴素的爬山法：每轮给 $w$ 加一个均匀噪声，如果 5 局平均成绩更好就接受。它不需要梯度，也不需要价值函数，但在 CartPole 上通常几十轮就能达到 500 分。

这说明了两件事：CartPole 本身很简单（深度 RL 算法在这里“杀鸡用牛刀”）；以及黑盒策略搜索（如进化策略、ARS）在低维问题上是很强的基线。

可以试试

• 自己玩：大多数人第一次只能坚持几十步。诀窍是“预判”——杆子刚开始倒时就往同方向推车。
• 随机策略平均只能坚持 20 步左右。
• 训练完成后观察学到的 $w$：杆角和角速度对应的权重通常最大，说明策略主要在“看杆子”。

相关教程

• Gymnasium 上手
• DQN
• REINFORCE
• 全部交互工具