这一讲是整门课里离你的课题最远的一讲（全程机器人、没有一个 LLM），但它恰恰是方法论密度最高的一讲 —— 因为讲者被迫把「为什么这类问题能做成、那类不能」讲清楚了，而那套判据是跨领域的。有五处接得很紧，其中一处要推翻我在 L15 给过你的一条建议。

① p3–p4 给了你一张检查表，而你的问题在这张表上过关。
讲者开场就说，RL 在机器人上成了，靠的是两个要素：Well specified rewards（奖励写得出来，而且是 rule-based 所以能自动算）+ Scalable evaluation of policies（评估跑得起，靠的是仿真）。而 p75 他用同一张表解释了「运动控制三四年前就成了、操作至今没成」。
⇒ 逐条过你的问题，结论相当有利：① G = Acc − λ·Cost 是完备的任务说明，而且一条管所有配置（不需要为每个工作流重写）；② 评估可自动化、可重放。⇒ 所以你的问题在这张表上更像运动控制而不像操作——这是一个很具体、也很有力的「这件事做得成」的论证，比泛泛地说「我们的设定便于实验」强得多。
⚠ 而 p75 那条「奖励不可复用」告诉你会在哪里失去这个优势：一旦 Acc 不再来自标准答案、而要靠一个为特定任务写的评判标准，你就掉到操作那一侧了（开放式生成、摘要、创意写作全是这一类）。⇒ 所以主动声明边界：本方法适用于 Acc 可程序化判定的任务。这不是示弱，是说明你知道边界在哪、而且那个边界有理由。

② p19–p27 那个两阶段架构是这一讲对你最直接的技术产出，而且它有一个你需要的东西：一个现成的 bound。
做法是：第一阶段用特权信息（摩擦、质量这些仿真里才知道的真值 e_t）训出一个教师策略；第二阶段把特权信息换成可观测的历史，用监督学习让学生去回归教师的中间表示 z_t，再用 DAgger 收集状态分布。
⇒ 映到你的问题上，这是一个完整的方案骨架：第一阶段离线、不计成本，用最强的配置（甚至 oracle 标签）算出「这条 query 的每个节点该用什么档」的理想答案；第二阶段训一个只看线上可得的特征（prompt、节点类型、前几个节点的中间输出）的轻量策略去回归它。
⇒ 而这个结构解决的正是你的核心困难：「该用大模型还是小模型」这件事，最可靠的判据只有事后才知道（答案对不对），而决策必须事前做。两阶段把这个矛盾拆开了：让事后的信息去教，而不是去用。
⚠⚠ 而 DAgger 这一步对你的「写 bound」这条验收标准是个礼物：DAgger 本身就是一个 no-regret reduction，它给的界形如 J(π̂) ≲ J(π*) + O(T·ε_N)（ε_N 是在自己诱导的状态分布上的监督损失）。⇒ 这意味着你不必从零造一个界：把你的第二阶段写成一个模仿学习问题，界就是现成的，再和你的分布无关保证拼起来。这条路比自己硬推一个新界要稳得多，而且审稿人认。

③ p37 和 p42–p44 把同一条警告讲了两遍，而这是整讲最反直觉的结果。
第一遍（p37）：四个基线里，显式做系统辨识（直接回归出摩擦、质量的真值）比什么都不自适应的 Robust 基线还差。讲者的解释是：「it's also not necessary to solve for the final downstream task」。第二遍（p42–p44）：用视觉重建地形图再规划落脚点，输给端到端 ——「since we are solving a harder problem, we are losing information」。
⇒ 一句话：不要把一个比最终任务更难的中间问题塞进你的流程里。
⇒ 这条直接命中你的一个设计诱惑：先预测「这条 query 的难度」或「这个节点需要多强的模型」，再按预测去选档。那是一个更难的中间问题（难度是个没有真值的量），而你真正需要的只是「升档能不能把这条 query 救回来」这个二元判断。⇒ 按后者直接训，而不是先估一个难度分数再定阈值。
⇒ 而 RMA 自己给出的正面做法就是 z_t：一个低维、不可解释、但对决策够用的中间量（p32 讲者坦承那三张分析图「we cannot interpret them very easily」）。你的对应物允许同样不可解释 —— 只要它能让 G 变高。

⚠️ ④ p77 推翻了我在 L15 主线卡里给过你的一条建议，这一条请以这里为准。
我当时建议：用一个强模型当节点级裁判，给每步打「做对了没有」的标签来做信用分配。而 p77 的原话是：用大模型做通用奖励模型 Could work, but RL will exploit weaknesses if they exist —— 而且讲者给了两个现成的证据：RLHF 继续调下去模型会完全跑偏；DeepSeek 那篇也说，不用可验证/规则型奖励，RL 迟早开始钻奖励的空子。
⇒ 关键在优化压力：裁判的分数只作事后报告时无妨；一旦它进入搜索的目标函数，你就在对它做优化，而被优化的裁判一定会被钻。
⇒ 会怎么钻？搜索会偏向那些「让裁判打高分」而不是「真的更好」的配置。比如裁判偏好更长、更有条理的中间输出，于是搜索系统性地选出「话多」的配置 —— 而话多意味着 token 多，恰好与你的 Cost 目标相反，你还会以为自己找到了好配置。
⇒ 修正后的建议：节点级裁判可以用于分析与解释，但不要进入 G 的定义或搜索的目标函数。G 必须锚在可验证的量上 —— Acc 来自标准答案，Cost 来自 token 计数。⇒ 而这其实是你相对很多 agentic 工作的优势，值得在论文里点明：我们的目标函数完全由可验证的量构成，因此不存在奖励模型被利用的风险 —— 而这正是当前依赖 LLM-as-judge 的方法面临的问题。

⑤ p29 那个消融是一个值得照抄的实验设计。
讲者要证明「自适应在线持续起作用」，而不只是「开头估一次就够了」。做法很干净：在第一步之后把 z_t 冻住，后面全程不更新 —— 性能掉下来，于是「持续估计」这件事的价值被单独隔离出来了。
⇒ 你的对应消融：只在第一个节点决定一次档位配置、后续节点全部沿用，对比逐节点决定。如果两者差不多，那你整篇文章的卖点（节点级而非工作流级）就被自己的实验否掉了——所以这个消融必须做，而且要早做。
⇒ 这是一类特别有价值的消融：它不是去证明方法好，而是去证明方法里那个「最关键的设计选择」真的必要。p29 和 p37 合起来就是一套完整的「必要性论证」。

CS224R 第十七讲 · 用强化学习提升机器人智能