这一章比第 13 章更直接地压在你的课题上——5.5 到 5.9 整整六页就是离策评估，也就是 bridge-thread 0 的正题。它给你的东西有五件，而且其中两件是确认而不是新信息：你此前的判断是对的，现在有了逐式的依据。

① 你那个问题有教科书名字：覆盖假设。 π(a|s) > 0 ⟹ b(a|s) > 0。而真正有用的是它的精确范围：书说由覆盖推出「在 b 与 π 不相同的那些状态上，b 必须是随机的」——不是「b 处处必须随机」。⇒ 简报 §4c 那个「只随机化 top k=3~4 个节点、其余钉死」因此不是一个为省样本而牺牲覆盖的妥协：只要你把候选策略类限定在「只在那 k 个节点上与基线不同」，覆盖就是完全满足的。关键在于先限定策略类，再谈覆盖。而且书明说目标策略可以是确定性的，「这正是控制应用中特别值得关注的情形」——你上线的路由器不必随机，需要随机的只有采数据的那个。

② 你的可加性检验，测的是书对 MDP 的定义本身。 5.1 节开篇：MDP = 多个状态，每个像一个上下文老虎机，而这些老虎机互相关联；「关联」的确切含义是回报依赖同一幕里下游所采取的动作。⇒ 简报 §5 的 Week 2 实验量的正是这个关联。可加性成立 = 老虎机之间没有关联 = 按书的定义，这不是 MDP。你可以引 Sutton & Barto 来说明这个检验在测什么，而不必自己定义「可加性」。

③ 简报 §4e 那条关于逐决策 IS 的判断，得到了算术上的确认。 你写的是「per-decision IS 对准确率这一半买不到任何东西（奖励在 t=H），只对成本那一半有用」。书的依据是 (5.14) 的一般形式：E[ρ_{t:T−1} R_{t+k}] = E[ρ_{t:t+k−1} R_{t+k}]——第 k 个奖励只被它之前的比值加权。终局奖励的 k = T−t，需要的是全部比值，一个都省不掉。你的判断完全正确。而成本那一半能省多少现在也能精确算：第 j 个节点的成本只需 j 个因子，权重上界是 2^j 而非 2^k，惩罚集中在最后几项。⚠ 顺带一条坏消息，你的简报里没有：书说「所有已知的加权+逐决策估计量都不相合」——两者目前无法兼得。

④ 「只从幕的尾巴学」：你的 ESS 不是均匀地小，是沿管道位置倾斜的。 离策 MC 控制只有当「这一幕剩下的所有动作都是贪心的」时才学得到，「对出现在长幕靠前部分的状态尤其」慢。⇒ 第 j 个决策节点的匹配率是 2^(−(j−1))：最后一个节点匹配率为 1，越靠前越指数级地少。这条应该直接进你的实验设计：按节点位置分别报 ESS，而不是只报一个全局数。而且它改变了 §4c 的取舍——同样敏感度的两个节点，靠后的那个数据效率高得多。

⑤ 蒙特卡洛不自举，于是「对马尔可夫性被破坏不那么敏感」。 小结的第四条优势，论证只有一句：它们不以后继状态的值估计为依据来更新。⇒ 这给了「先做 oracle、后定形式化」一个正当性：蒙特卡洛式的估计不需要你先回答「这是不是 MDP」。即使 P2 表示严重混叠，它仍是对「在这个表示下的真实平均回报」的无偏估计——估的可能不是你最终想要的，但它不会悄悄地错。反过来这也是对 FQE 的警告：FQE 是自举的，表示不完整时误差会沿自举链传开。

SB 第 5 章 · 蒙特卡洛方法