这一节是这一讲对你最直接、最可操作的一条——而且它推翻了「L04 科研连接弱」这个预期。

你的核心动作是什么？从一堆候选配置里，按估计的 G = Acc − λ·Cost 挑最好的那个。也就是 max_config Ĝ(config)——这正是 p42 那个式子，一字不差。

于是结论直接适用：你报告的那个「最优配置的 G」，系统性地高于它的真实值。哪怕你的 FQE 完全无偏、哪怕你的留出集评估完全无偏——只要你是在一堆带噪声的估计里取最大，偏差就存在。这是胜者的诅咒，和你的算法好不好无关。

而偏差的大小由两件事决定，两件在你这里都不乐观：
① 候选数量：L02 p30 算过，k^H 在 k=3/H=7 时是 2187——两千多个候选，比课件那个「两个动作」的例子严重得多。
② 每个估计的噪声：留出集上每个配置能跑的 query 数有限，而 Acc 本身是个比例，方差不小。
两条叠加，这个偏差很可能不是小数点后几位的事。

解药可以原样搬，而且几乎不花钱：把留出集拆成两半，一半用来挑配置，另一半用来报告它的 G。
① 在 split A 上算每个候选的 Ĝ，挑出 config*；
② 在 split B 上只评估 config*，报告那个数。
② 里的估计是无偏的，因为 B 的样本没参与挑选。这正是 Double Learning 的做法，而且在统计里有个更常见的名字：样本拆分 / 交叉拟合。

代价要一并说清：每一半样本减半，所以挑出来的配置可能不是最好的那个，而报告的那个数方差也更大。改进做法是交换两半再做一次取平均（Double Q 的在线版本正是交替更新），或者做 K 折。但无论哪种，关键都是那一句：别用挑它的那份数据去评它。

CS234 第四讲 · 无模型控制：ε-贪婪、SARSA、Q-learning 与最大化偏差