这一讲对你最要紧的一页是 p43：上下文老虎机的定义——input context which impacts reward of each arm, context sampled iid each step。逐项对过去：上下文 = query、臂 = 保真度配置、奖励 = 这条 query 的 Acc 与 Cost，而最关键的那条也成立：你对这条 query 用什么配置，不影响下一条 query 是什么。

所以「这是不是 MDP」那个争论，在这里有了第三个答案：它既不是无上下文的老虎机（query 特征显然影响哪个配置最好），也不必是 MDP（配置不改变 query 分布）。但这个框能不能用，取决于可加性检验——上下文老虎机要求单步决策，而你的 workflow 有 H 个节点；只有节点效应可加，H 个节点才能拆成 H 个独立的单步问题。这和 L11 p16 指向的是同一个实验。

这一讲还给了你两样可以直接用的东西。
一、Beta 伪计数（p24–25）：每个「节点 × 档位」挂一个 Beta(α,β)，更新只是加法。它一次解决三件事——「数据够不够」有了可数的判据（α+β 就是有效样本量）、小样本虚高被自动收缩（跑 3 条全对给 0.8 而不是 1.0）、先验强度可审计（Beta(1,1) = 注入 2 个假样本）。这正好对冲 L04 p42 的最大化偏差：在 2187 个候选里取最大时，虚高的多半是样本少的那些，而收缩按样本量自动调节力度。
二、按「是最优的概率」排序（p28–30）：与其报 argmax Ĝ，不如报每个配置「是最优」的后验概率。后者把样本少的不确定性算了进去，不会因为跑了三条 query 全对就排第一。而如果你要迭代地花预算，这就是 Thompson 采样在你这里的直接形态——它没有任何需要调的旋钮（没有 ε、没有置信水平，后验宽度本身就是探索力度）。

最后一条实证线索值得单记：讲稿里她补充说 TS 在结果延迟时比 UCB 更稳健。你的奖励正是整条 workflow 跑完才出现。机制是 UCB 确定性、结果没回来前上界不变会反复选同一条臂，而 TS 每轮重新抽样，自动把等待期分散开。

CS234 第十二讲 · 从频率派到贝叶斯，从老虎机回到 MDP