看见不确定性：Thompson 采样的 Beta 后验与 UCB 置信上界

后验与置信上界

伯努利臂的中奖率 $p$ 用 Beta 先验 $\text{Beta}(1,1)$，每次中奖 $\alpha +=1$、不中 $\beta +=1$。Thompson 采样每轮从各臂后验各抽一个样本 ${\tilde{p}}_i$，拉 $\arg \underset{i}{max}{\tilde{p}}_i$：不确定的臂分布宽，偶尔能抽出大值，从而得到探索的机会。

UCB1 选 ${\overline{x}}_i+\sqrt{c\ln t/n_i}$ 最大的臂：拉得少的臂置信半径大，被“乐观地”高估。

可以试试

• 自动拉一会儿：最好的臂的分布越来越窄、越来越高，另外两个分布在 1/3 次数以后就很少再变。
• 把两个臂的真实概率调得很接近（如 0.55 和 0.6）：算法需要更多次才能分辨。
• 切到 ε-贪心：它不看不确定性，永远以 10% 的概率均匀乱选。

相关教程

• 多臂老虎机
• 全部交互工具