这是 CS224R 十九讲里离课题最近的一讲，而且近到可以逐条对应 —— 它研究的是「给定算力预算，怎么花最划算」，而你研究的是同一个问题的另一个切面。

一、设定是同构的，所以它的估计量可以直接搬（p7 · p15–p17）。 p7 把解题写成稀疏奖励 MDP + 确定性动力学：没有外部环境，s_i 就是 s_{i−1} 与刚写那段字的拼接，奖励只在终局、γ=1。你的 workflow 四条全中（query 是初始状态、给某节点挑档位是动作、状态是「已定下的那几个档位」、答对与否只在跑完之后）。两个直接后果：① 优势是 Q − Q 不是 Q − V（确定性动力学下 V(s_i) = Q(s_{i−1},a_{i−1})），不必引入值函数网络；② p16 那个「把前缀固定住、让 π̃ 把后面补完、看成功率」的估计量，落到你这里就是简报 §5 的一步偏离实验 —— 这一讲等于给那个实验补上了形式化的名字（Q 函数）与定义。

二、它命名了你要找的那个东西（p12）。 Spurious step：一条解答答对了，但里面含着一步「既错又没被用到」的内容（Betty 那个例子：先写 100×2=200，下一句改口写 100/2=50，最终答案仍然正确）。换成你的词：一个答对了的配置，里面可能含着一个纯属浪费的节点档位。⇒ 而只看最终 Acc 的筛子在原理上就识别不出它们 —— 它们在 Acc 上完全不可见，只在 Cost 上可见。这又一次、而且是从梯度那一侧，支持简报 §4e「两半要分开估」。

三、⭐⭐ p33–p34 给了你的目标函数一个更标准的写法。 讲义写的是约束型：max_π E_x[E_{z~π}[r(x,z)]] s.t. ∀x, E|z| ≤ C₀，并标注 This compute budget is fixed!。而你的 G = Acc − λ·Cost 正是它的拉格朗日松弛，λ 就是那条约束的乘子。⇒ 这给了「λ 该取多少」一个有原则的答案：先定一个你真正在乎的预算（每条 query 平均不超过多少钱），再解出对应的 λ —— 比扫一遍 λ 再挑一个好看的容易向审稿人交代得多。⚠ 但两处不等价必须自己守住：① 惩罚型只能达到 Pareto 前沿的凸部分，而配置空间离散时凹陷很常见；② 这一讲的约束是逐题的（∀x），而「难题多花、简单题少花」需要的是平均约束 —— 后者恰恰是 node-level 自适应的全部价值所在，所以你该明确主张平均约束并说明理由。

四、两条会改变实验设计的具体结论。 ① p26 的尺子判据：最优的 rollout 策略要的是分辨力，不是最强的那一个 —— 太强的 π̃ 什么前缀都能救回来，所有 Q 趋近 1、优势全是 0。⇒ 探测某节点时把其余节点全用最强模型，恰恰是最差的尺子；参考配置该挑在全强与全弱之间，判据就用「让格子优势方差最大」。简报 §5 的止损闸（全强与全弱差不到 4 个百分点就没 headroom）说的是同一件事，只是换到了 benchmark 那一层。② p35 的能力门槛：同一套 RL 配方，一个基座模型长出了验证与回溯行为，另一个一条都没有、而且整个训练过程不提升。⇒ 有些格子上弱档位根本不可行，那不是一个可以用 λ 权衡的连续量。⇒ 敏感度扫描应当同时产出两张表：一张「降档的准确率跌幅」（连续），一张「这个格子弱档位可不可行」（二值）；优化只在可行的格子上做。

五、一张可以直接画的图（p41）。 Gap grows as √H：测试期算力预算越大，「用奖励信号训」相对「模仿／蒸馏」的优势越大。类比到你这里：总预算越宽裕，自适应分配相对最佳固定配置的优势应当越大（预算宽裕时「该把钱花在哪」的选择空间更大，而固定配置用不上这个空间）。⇒ 横轴每条 query 的平均预算、纵轴相对最佳固定 workflow 的 G 提升，如果这条曲线随预算张开，就与这一页的形状一致。⚠ 这是类比不是定理搬运，而且讲义只给了结论与示意图、没给条件也没给证明。

CS224R 第十讲 · RL for LLMs：推理