这一讲是整门课唯一一次「什么都知道」的处境，所以它最适合用来做一件事：把你的课题逐项填进 (S, A, P, R, γ)，看哪里填不下去。

先填好填的。A = 每个节点的几档保真度；P = 给定配置，流水线怎么走基本确定，随机性主要来自 LLM 输出本身，可以从日志频率估；R = Acc − λ·Cost。这三格都填得出来，而且比大多数 RL 问题干净——你近似有模型，这是优势，别浪费。

然后是三个会漏的格子。

① γ 这一格大多数人会填错。代码库默认 0.99，而 p13 的最后一行明说 If episode lengths are always finite, can use γ = 1。你的流水线跑完必然结束，所以 γ = 1 才是对的。填 0.99 等于告诉算法「最后一个节点的收益只值 0.9」，而你的终局奖励恰恰全部产生在最后一个节点上——这会系统性低估整条流水线，而且越靠后压得越狠。

② S 这一格有个张力，而且两头都有道理，必须自己选一边。如果状态只是「第几个节点」，策略数就是 k^H——k=3、H=7 时才 2187，可以全部跑一遍。这正是你那张穷举 oracle 表能存在的理由，而绝大多数 RL 问题里这件事根本做不到。但 p56 说：有限 horizon 下最优策略不平稳——节点 h 的最优保真度依赖「后面还剩几个节点」「前面已经花了多少」，而不只是「我是第几个」。于是：只按节点编号决定 ⇒ 可穷举但结构上次优；带上累计成本 ⇒ 可能最优但穷举失效。一个干净的折中是把累计成本离散成三档，既仍可算，又能直接测出「自适应比静态好多少」——这个差值本身就是一个可报告的结果。

③ R 这一格藏着一件更要紧的事：你写的根本不是一个奖励，是一个松弛。Acc − λ·Cost 是「在成本约束下最大化准确率」这个带约束问题的拉格朗日形式，而 λ 是乘子。这件事有一个直接后果，而且它和 p29/p31 冲突：p29 证「最优策略可以是确定性的」，用到了「目标是线性可加的期望」；一旦问题真的带约束，这条就不成立了——带约束 MDP 的最优策略可能必须是随机的。所以「我们只考虑确定性配置」这句话，在标量化目标下成立，在约束形式下需要额外论证。你当前用标量化是对的选择（也更好落地），但这个取舍该写明，而不是默认 p31 替你兜底。

CS234 第二讲 · 已知世界模型：MP / MRP / MDP，策略迭代与值迭代