这一讲表面上全是机器人，但它有四处和课题接得很紧，而且其中一处是直接把你手上的工具按在一个被点名的公开问题上。

① p13 给了你一个学名：deployed policy evaluation（部署策略评估）vs continuing policy evaluation（持续策略评估）。
前者是「学出来的策略有多好」（J(π)，从初始分布出发跑一幕），后者是「这一辈子一共拿到多少奖励」（average reward RL）。两个例子把差别钉死了：火星车要的是这一路采集到的数据，机器人厨师不在乎训练时做砸多少顿饭。
⇒ 你做的是 deployed policy evaluation —— 搜索阶段跑的烂配置是训练成本，不计入目标；你报的是最终配置的 G。这句话可以原样写进论文，而且 EARL（ICLR 2022）那条线有现成引用。
⚠ 但要主动挑明一处紧张：「成本」在你这里出现了两次——G 里的 λ·Cost（最终配置每次推理的成本，属于部署评估）与搜索阶段烧掉的调用（训练成本，按定义不计入）。一个只看总账单的审稿人会把两者加起来问你。稳妥的报法是两个数都给，再附一条摊销曲线：搜索成本摊到多少条 query 才回本。

② p17 的「状态分布坍缩」是你这学期第四次撞上同一条道理，而四次用的是四种语言。
CSE 541 L07 p3 用特征分解说（测得少的方向贡献大）· L15/L01 用跟随领先者的灾难说 · 本讲 p17 用「数据挤在目标附近、奖励很好看但策略学不会」说 · 本讲 p32 又用「该练哪个任务」说一遍。⇒ 四门课、四种数学、同一个结论：信息来自覆盖，不来自重复；而且四次都附带同一个警告——坍缩时你看到的指标是好看的。
⇒ 对你最尖锐的推论：逐次淘汰会主动制造坍缩。 那是算法的设计意图（把预算集中到存活候选），但副作用是被砍掉的那片区域你再也拿不到数据。砍错了（有 δ 概率）你不会知道，因为剩下的测量都在幸存者身上，而它们的 Ĝ 看起来都正常。⇒ 这给了 L15 那条「误砍不可逆」一个更狠的版本：误砍不仅不可逆，而且不可见。

③ p32 把「该为哪个任务收集数据」明确标成了公开问题，而你手上有一个有定理的答案。
讲义给的现成办法只有两条，都是启发式的：把任务图写死，或者问 VLM 此刻能做什么。⇒ 而这在形式上就是实验设计，CSE 541 L07 的 G-最优设计正是它的最优解——而且 λ* 不需要任何真实奖励，只依赖候选集合的几何。
⚠ 更有意思的是不对应的那一处，而它对你有利：讲义那边的候选受当前状态约束（杯子在地上就只能练「捡杯子」，画面里没胡萝卜就不能练「拿胡萝卜」），而你的配置空间不受状态约束——任何配置随时都能跑。⇒ 所以：在机器人领域这仍是开放问题，部分是因为可行集随状态变化；而我们的可行集是固定的，于是实验设计的经典解可以直接用。这是一句很好的定位。

④ p43 的「在技能空间而不是动作空间里适应」给了你的逐节点档位一个名分。
讲义的论证是幅度问题：微调权重「只能把策略改这么多」，而处境往往需要换一整套打法，所以要在预训练技能之间切换。⇒ 你的工作流里，「动作空间」是重采样、调温度、改措辞——全是小幅扰动；「技能空间」正是你的配置空间：换节点档位、换路径、换分解粒度。
⇒ 于是方法的定位可以升一级：我们提供的是一个技能空间——一组结构化、可切换的系统配置，使失败时的适应发生在策略层面而不是采样层面。而「偏离越大越要往高层适应」那条判断，直接给出一个三级响应：小偏差重采样 → 中偏差给那个节点升档 → 大偏差换工作流结构，代价递增。

最后一条是可以今天就写进代码的：p43 想法一（朝熟悉状态而不是朝终点优化）= 失败时回退到已知可用的基线配置。
某条 query 在搜出来的「最优」配置上反复失败时，退回全大模型跑一次。代价是这条变贵了，但它会出结果，而不是烧满预算还 0 分。⇒ 对 G 分布的效果是砍掉左尾，而左尾正是 p5 那个重尾来源。平均 G 可能只升一点，但方差会明显下降——而方差在 ρ_* 的分子上，更低的方差直接意味着更少的测量就能把配置分开。这是一个同时改善性能和统计效率的改动。

CS224R 第十六讲 · 机器人上的 RL：自主学习