这一章是 CS234 十五讲里唯一没有系统覆盖的那一块，而它给课题的东西分三类。

① 一张可以直接画进论文的图。 图 8.11 的两条轴是：更新的宽度（样本 ↔ 期望）与更新的深度（一步 ↔ 完整回报）。而你那个 G = Acc − λ·Cost 的两半，恰好落在这张图对角线的两端：成本有分布模型、逐节点可加、一步算完 ⇒ 右上角（动态规划）；准确率只有样本模型、终局才知道 ⇒ 左下角（蒙特卡洛）。这是全书最有名的图之一，而你的两个分量分处它距离最远的两个角——「因此不应共用同一个估计量」这一拳，配一张读者早就熟悉的图，很难接。

② 一个必须防的失败模式，而且在 LLM 场景里比书里更容易发生。 捷径迷宫（8.3 节）：环境变好了，而 Dyna-Q 从未切换、也从未意识到捷径存在。原因那句是全章最该记住的：Its model said that there was no shortcut, so the more it planned, the less likely it was to step to the right and discover it. 翻译：成本模型说某配置贵 → 筛选把它排除 → 再也不跑它 → 估计永远停在旧值。而「环境变好」在你这里是常态**不是例外**：服务商降价、换推理后端、新版本模型同样质量下输出更短。⚠ 比迷宫更糟的是：迷宫里变化是一次性的，而 API 定价与模型版本是持续漂移的——于是这不是「跑一次实验」的问题，是「结论会过期」的问题。修法现成：Dyna-Q+ 的 r + κ√τ，按「多久没真实测过」给加成。

③ 一批可以直接借用的措辞与判据。
· rollout 的目标定位（8.10）：aim is to improve upon the rollout policy; not to find an optimal policy——把「天花板是 AFlow 基线」从缺陷写成设计目标，书就是这么处理的；
· 剪枝的第二条判据（8.10，Tesauro & Galperin）：剪掉那些「值与当前最优足够接近、以致选它也没有实质差别」的候选——这是一个停止判据，不只是淘汰判据，而你多半还没有它；
· 「更新的位置」这个维度（8.13）：Model-free methods can choose only among the states actually encountered, but model-based methods can choose arbitrarily——成本模型买到的是选择权，不是精度，这个区分解释了为什么 R²=0.9 的模型仍然很有价值；
· E³ / R-max 的评价（文献注 8.3）：多项式时间保证「对实用算法通常太慢，但在最坏情况下多半已是能做到的最好」——这是回答「你有没有样本复杂度保证」的一个诚实而不示弱的范本。

而贯穿全章的那个判据是「分支因子 b」：b=1 时期望更新与样本更新完全相同。你的成本 b≈1（算一次就够，多采是浪费）；准确率 b=2 但你拿不到分布模型，只能样本更新。⇒ 「成本可期望更新、准确率只能样本更新」，这是两半必须分开处理的第九条理由，而且是唯一一条关于算法形状而非统计量的。

SB 第 8 章 · 规划与学习：把有模型和无模型统一起来