这一讲的用处和 L15 很不一样。 L15 是课题所在的那片地；而这一讲是给你已经在做的事找到名字、找到文献、找到它们已知的性质——然后在一个地方让你立刻改做法。

四件对上号的事。
① 你的成本模型是模型基 RL 里的那个「模型」（p6–p13），而更准确地说，它是 p57 那条变体：学一个值函数，用来避免 rollout 到整幕结束——用一个便宜的学出来的函数替代昂贵的实际展开，这正是它在做的事。而这个身份顺带送了你一个免费的东西：零样本迁移（p13，实录独有）——λ 只出现在奖励函数里，动力学与它无关，所以整条 λ 曲线是零成本的，换一个 λ 在 oracle 表上重取 argmax 即可，一次调用都不加。这把「λ 的敏感性分析」从做不起变成顺手就有。
② 你的一步偏离扫描恰好是一步策略改进（p29）。把 π 取成 AFlow 基线，课件那个算法逐字变成你的扫描。于是你拿到一条保证（策略改进定理：不会变差）和一个天花板（上限由基线决定）——这正面回答了「为什么不直接搜整个空间」：因为我们做的是有保证的一步改进，而不是无保证的全局搜索。
③ 一个该立刻改的实验设计（p47，本讲最值钱的一页）。老虎机用乐观，是因为你真的要承受坏决策的代价；而在规划里「在脑子里做坏决策不疼」，所以该优化的是信息价值而不是乐观。翻译到你这里：下一笔 query 预算该花在与领跑者区间重叠的候选上，而不是花在领跑者身上——多跑领跑者只是把一个已经很窄的区间再收窄，不改变任何结论。这把「逐次淘汰」的判据从「平均值低」纠正成「区间已经分开」，而它等价于在同样的美元数下把有效样本量放大若干倍。
④ 一个决定你该用表还是用树的实验（p18 + p36）。MCTS 不合并相同状态的计数，而实录说理由不是统计上不对、而是实现麻烦；你的格子只有 H×k 几十个、每条 query 都会经过，所以合并几乎没有代价、却能把样本量乘上 query 数。但合并等于断言「节点档位的效果与路径无关」——而 p18 那个 AB 例子给了检验它的办法：用 k=1 的数据预测 k=2 的 G，和真值比。误差小 ⇒ 可加 ⇒ 可以外推整个配置空间（成本降一个数量级）；误差大 ⇒ 节点间有交互 ⇒ 「序贯决策」这个框架才真正必要。无论哪一边都是一个能写的结论，而现在这个问题是悬着的。

而一条贯穿全讲的硬约束必须记死：MCTS 的全部便宜建立在「模拟免费」上。 它算的是「多少次模拟」，而你付的是「多少美元」。你只有半个模拟器：成本那一半可以纯本地算（所以「在预算内枚举所有档位组合」是免费的、可以穷举到底）；准确率那一半只能真跑。这条界线把你的算法切成两段——先在免费的那一半上穷举筛选，再只对筛出来的少数候选花真实调用，而这个两段式的理由是结构性的，不是工程偷懒。

CS234 第十六讲 · 拟合一个模型就等于拥有一个模拟器，而模拟器可以拿来想事情