这一讲表面上在讲机器人，但它讲的结构和你的课题是同一个，而且讲义自己就把这件事说破了。

p5 列长时程任务时，四个例子里有两个是 LLM 的：「修一个让神经网络训练损失爆炸的 bug」和「给一份八页的报告写反馈」；p24 讲到「分层正热」时，老师把思维链明确归进了同一类现象。⇒ 所以「高层出中间目标、低层出动作」这个结构，在机器人和 LLM 智能体上是一回事——你的 AFlow 工作流就是它的一个实例：工作流图是高层，每个节点的执行是低层，而你做的事是给低层挑能力档位。

⇒ 于是这一讲的三个设计选择，逐条都落在你的问题上：
① 目标怎么表示（p14）——三条性质里 (b) 结构化：相似的行为应当有相似的 g 正是你那个线性假设的通俗版。讲义的反例是把子任务编号成「子任务 1 / 子任务 2」，因为编号把相似性全扔了；而你用的是指示向量 x ∈ {0,1}^{H×k}，只改一个节点的两个配置只差一个坐标。⇒ 这给了你一句比「我们假设 G 线性」好得多的话：我们的配置表示是结构化的，于是一个配置上的测量能迁移到相邻配置上——这正是样本复杂度从 |𝒳| 降到 d 的原因。
② 每层怎么监督（p17–18）——这是整讲对你最重的一条，下面单说。
③ 何时换子目标（p21）——对应你的反思/重试环什么时候退出。讲义的判决很硬：必须有一个无条件的次数上限，因为「判完成」出错会让系统永久卡死，而固定步数最多白走 n 步。⚠ 如果你的实现里没有那个上限，这是今天就该补的——它正是「一条 query 把预算烧光而 Acc 为 0」这种重尾样本的来源。

而第 ② 条值得单独展开，因为它指出了你方法里一个结构性的循环。
p17 的两行是：低层该在「高层会下达的目标分布」上训，但高层还没训出来；高层该配着「学好的低层」训，但低层还没训出来。⇒ 逐字对应到你这里：「档位该怎么配？取决于工作流长什么样……但最优工作流还没定。」／「工作流该怎么搜？取决于各节点有多强……但档位还没定。」AFlow 搜索时假定了某个统一档位，而你一旦改掉档位，那个工作流就不一定还最优。
⇒ 讲义给的解法可以原样搬（p18）：可以先分开做，但至少有一边要适配另一边的「毛病」。deficiencies 这个词是故意选的——要适配的不是对方的平均行为，而是对方做不好的那些地方。

而「适配」最轻的实现，讲义用了整整五页去演示（p29–33）：冻住低层，只用语言去改高层。 人看着机器人干活，快出错时喊一句话盖掉高层的指令；而纠正的方式不是把同一句指令说得更响，而是换成一串低层做得到的更小指令。⇒ 你的版本几乎是免费的：把下游档位信息写进规划节点的 prompt（「下游执行者是一个较小的模型，请把步骤拆得更细、更明确」）。
⇒ 而这件事对你主线有一个不小的含义：节点间的交互不是不可控的，可以靠「让上游知道下游的配置」主动削弱——而交互一旦被削弱，你的可加性假设就更站得住。这不只是性能优化，它是在为你的建模假设创造条件。

最后，整讲真正该背下来的是 p16 那一句，它超出了分层这个话题：Think carefully about where the benefits are coming from!（旁边还加了一句「在任何研究里这都值得做」）。
讲义用它判了一个很干脆的案子：端到端训练一个带「隐式目标」的两层网络 = 一个扁平策略——画两个方框不等于做出了分层，因为中间那层激活值不受任何独立约束。⇒ 对你就是：你报告 G 提升了 X%，这个提升来自哪一条机制？而你的方法里有三个各自都能解释提升的东西，必须分开测（见下面第一条军火）。

CS224R 第十五讲 · 模仿与强化学习中的分层