这一讲的最后 9 页（p54–p62）是你课题的问题陈述，几乎一字不差：trying actions out is costly or high stakes · use old data about policy decisions and their outcomes to estimate the potential value of an alternate policy。

但它同时留下了两个窟窿，而这两个窟窿正好是你现在卡住的地方：
一、形式条件从未给出。 p55 写着「If π₂ is stochastic, can often use it …（formal conditions to follow）」，p61 换成「under some assumptions」——整讲到结束都没有把 coverage 写出来。而你的日志不满足的恰恰就是它。
二、这 9 页讲座根本没讲。 讲稿全文 13350 词里 importance sampling 出现 0 次；她在 53% 处说「if we have time, otherwise we'll push it later」，然后讲稿结束在 AB 例子。

所以 L03 对你的用法是：拿它当问题陈述和符号表，不要指望它给条件。条件、方差分析、各种变体（PDIS / WIS / DR / FQE）全在 L15——那是 Brunskill 自己的研究讲座，几乎全建在 Philip Thomas 的工作上。这 9 页可以当作 L15 的提纲来读。

前 53 页（MC / TD / 偏差方差 / AB 例子 / 确定性等价）与你的关系是间接但真实的：MC vs TD 的偏差-方差权衡，就是你在「穷举 oracle（无偏、零方差、但只覆盖留出集）」与「FQE（有偏、低方差、覆盖全集）」之间的那个选择。p46 那个 AB 例子说的「世界不是 Markov 时 MC 更好，是 Markov 时 TD 更好」，在你这里就是 P2/P3 消融的结论会决定你该用哪一边。

CS234 第三讲 · 无模型策略评估：蒙特卡洛、时序差分与重要性采样