65 镜一次看完 · Ctrl+F 可搜全文 · Ctrl+P 可存成 PDF · 想看动画回放映厅
知识点 1 · 总结
核心结论
目标：找算法 A 使 P( V^{A(D)} ≥ V^{π_b} ) ≥ 1 − δ。基准是现任策略 π_b，不是最优策略 —— 因为真实系统里要说服人换掉现有的那个。
底层机制
算法可以输出 π_b 本身，那时不等式以概率 1 成立。所以「什么也不改」是合法答案，而且是设计意图：证据不够就拒绝改动。
常见误解
误解：「小流量上线试试」。两个前提不成立：小流量里也是真实的人；而且「多小才安全」要先知道新策略多差 —— 循环。
与你的考试
三层机器：离策略评估（点估计）→ 高置信度评估（下界）→ 安全改进（决定部不部署）。缺一层保证就没了。对照 L10 的单调改进：形状相同，但那里可以交互、这里只有一次机会且没有反馈。
知识点 1 · 检验
安全策略改进的目标 P(V^{A(D)} ≥ V^{π_b}) ≥ 1−δ 里，有一个容易被略过的含义是什么？
输出 π_b 本身时 V^{A(D)} = V^{π_b}，不等式以概率 1 成立。这不是钻空子，是设计意图：证据足够就输出更好的新策略，证据不够就什么也不改。对比前十四讲的算法 —— 它们总会给你一个策略；这一讲的算法会说「我不知道」，而在教育、医疗这类场合那恰恰更有用。「必须严格更优」会让算法在数据不足时被迫冒险。「δ<0.05」δ 是使用者定的。「π_b 最优时才成立」方向反了 —— 基准就是 π_b，它是不是最优无关。
知识点 2 · 总结
核心结论
轨迹概率之比里，初始状态分布与转移概率在两个策略下完全相同，相除消失。剩下 ∏_t π_e(a_t|s_t)/π_b(a_t|s_t) —— 只有动作概率之比的连乘。
底层机制
因子约掉与马尔可夫性无关：就算转移依赖整段历史，它在分子分母里仍是同一个数。所以 IS 在非马尔可夫环境里同样成立 —— 前十四讲的方法全部依赖马尔可夫假设，这一个不依赖。
常见误解
误解：「要算轨迹概率就得知道转移模型」。不需要任何模型。
与你的考试
确实需要的：知道 π_b 在每个记录的 (s,a) 上给了多少概率。数据来自人或旧系统时它未知 —— 讲座明确假设已知，而行为策略未知在结尾的开放问题里又出现一次。记号：讲座用 p 作采样、q 作目标，与统计学惯例相反。
知识点 2 · 检验
重要性采样的权重为什么不需要转移模型？
初始状态分布和转移概率只依赖环境、不依赖策略，所以在分子分母里是同一个数，约掉之后只剩 ∏_t π_e(a_t|s_t)/π_b(a_t|s_t)。这个论证还有一个推论：它与马尔可夫性无关 —— 就算转移依赖整段历史，仍然约掉，所以 IS 在非马尔可夫环境里也成立。「用经验频率估计」那是基于模型的做法，正是 IS 要避开的。「确定性转移」没有这个假设。「折扣压掉」与折扣无关。
知识点 3 · 总结
核心结论
π_b(a|s) > 0 whenever π_e(a|s) > 0。不满足时数据里一条相关轨迹都没有，贡献被记成 0，而真实贡献不是 0 —— 无偏与相合一起失效，数据再多也不会好转。
底层机制
比一般的偏差严重：缺口没有线索（看不到那些回报、不知道 π_e 有多大概率去那里、甚至不一定意识到缺了东西）。而且方向最坏 —— 越激进的新策略越容易违反覆盖。
常见误解
误解：「无偏就够了」。把因果搞反了 —— 无偏本身就建立在覆盖之上。
与你的考试
实践推论：行为策略必须是随机的，否则只能评估它自己。反过来 —— 系统跑得越「干净」（越确定性），越难从它的日志里学到怎么改进它。覆盖失效也是「拒绝部署」最该被触发的场合之一。
知识点 3 · 检验
覆盖条件不满足时，重要性采样估计量会怎样？
π_e 会选而 π_b 从不选的动作，在数据里零条样本，贡献被记成 0，而真实贡献不是 0。这不是方差问题 —— 那部分数据在这个数据集里根本不存在。更糟的是它没有症状：估计量照样给你一个看起来正常的数。而且方向最坏：越激进的新策略越容易违反覆盖，恰恰是最需要被评估的部分没有数据。「数据多会收敛」正是这里不成立的。「变成无穷大」反了 —— 它安静地偏低，没有报警。「只影响长轨迹」一步就能违反。
知识点 4 · 总结
核心结论
第 t 步的奖励只乘到 t 为止的概率比。仍然无偏，因为被砍掉的每个因子条件期望正好是 1：Σ_a π_b·(π_e/π_b) = Σ_a π_e = 1。
底层机制
实测（H=8，200 条/批 × 400 批，真值 0.9000）：标准差 0.5102 → 0.1879（缩到 37%），MSE 0.260540 → 0.035488（降 7.3 倍）。均值 0.8848 → 0.8870，仍在真值附近。
常见误解
误解：「一条轨迹一个权重」。第 50 步的动作影响不了第 3 步的奖励 —— 那些因子对它是纯噪声（期望为 1，只贡献方差）。
与你的考试
这一级是白拿的：没偏差、没参数、没额外假设。只要用 IS 就该用每步 IS。后面几级要付偏差或额外模型 —— 先拿完免费的，再权衡要付钱的。转录稿把它写成「weighted throughput decision」，实为 per-decision。
知识点 4 · 检验
每步 IS（per-decision IS）为什么在降方差的同时保持无偏？
对任意一步，E_{a~π_b}[π_e(a|s)/π_b(a|s)] = Σ_a π_e(a|s) = 1。第 t 步之后的那些因子对第 t 步的奖励来说，是「期望为 1 且与之无关」的乘子 —— 不改变期望，只增加方差。去掉它们纯赚。实测 MSE 从 0.260540 降到 0.035488（7.3 倍）而均值不变。「截断权重」那是第八、九集的截尾，会引入偏差。「自归一化」那是下一集的加权 IS，有偏。「奖励只在最后」没有这个假设 —— 恰恰相反，中间就有奖励时收益最大。
知识点 5 · 总结
核心结论
改动只有一处：分母从 n 换成权重之和（自归一化）。分子分母同向波动，抵消掉一部分。代价是失去无偏 —— 但保住强相合，偏差会随数据增多而消退。
底层机制
实测三级（真值 0.9000）：标准差 0.5102 → 0.1879 → 0.0540；MSE 0.260540 → 0.035488 → 0.003492。全程降 74.6 倍 ≈ 省七十五倍的数据。
常见误解
误解：「有偏的不能用」。无偏描述的是反复重新收集数据时的平均行为；而你只有一份数据、只估一次 —— 该看均方误差。
与你的考试
算账：偏差² ≈ 0.00058，方差下降 ≈ 0.032，净赚约 55 倍。按约定标一处：讲座把 MSE 说成「偏差 + 方差」，正确是 偏差² + 方差 —— 偏差 <1 时高估、>1 时低估，方向会翻转。
知识点 5 · 检验
加权 IS（自归一化）失去了什么、保住了什么？
自归一化让分子分母同向波动而抵消一部分方差，代价是有限样本下期望不再精确等于真值（有偏）；但它仍然强相合，数据趋于无穷时几乎必然收敛到真值 —— 偏差会自己消退。实测：均值 0.8759（真值 0.9000，偏差看得见），而 MSE 从 0.035488 降到 0.003492，偏差²≈0.00058 换方差下降≈0.032，净赚 55 倍。「失去相合」反了。「两者都失去」相合是保住的。「免费」那是每步 IS（上一集），这一级要付偏差。
知识点 6 · 总结
核心结论
Z = X − Y + E[Y]，期望不变。Var(Z) = Var(X) + Var(Y) − 2Cov(X,Y)，所以降方差的条件是 2Cov(X,Y) > Var(Y) —— 那个 2 来自方差展开的交叉项。
底层机制
造一个落在两条判据之间的例子：Var(X)=1.9945、Var(Y)=1.3019、Cov=0.6985。讲座判据判「别用」，正确判据判「该用」；实测 Var(Z)=1.8995，确实降了。
常见误解
误解：「Cov(X,Y) > Var(Y) 才有用」。少那个 2 让判据变严 —— 不会让你用错，只会让你白白放弃一整类能用的控制变量（偏保守一侧，同 L10 的 Pinsker 少 ½）。
与你的考试
这就是 L09 的基线，第二次出现。差别：L09 的基线只能依赖状态（依赖动作会引入偏差），这里的 Y 可以依赖动作，因为 E[Y] 被显式加了回去。RL 里 Y 通常取 Q 函数 —— 这就是下一集双重稳健的来历。
知识点 6 · 检验
控制变量 Z = X − Y + E[Y] 什么时候真的降低方差？
Var(Z) = Var(X) + Var(Y) − 2Cov(X,Y)，要小于 Var(X) 就是 2Cov(X,Y) > Var(Y)。讲座漏了这个 2，让判据变严：一个 Var(X)=1.9945、Var(Y)=1.3019、Cov=0.6985 的例子，讲座判据判「别用」，而实测 Var(Z)=1.8995，确实降了。「Cov > Var(Y)」正是漏了 2 的那条。「Cov>0 就一定降」不对 —— 相关性太弱时 Var(Y) 的增量会压过来。「Var(Y) < Var(X)」与判据无关：重要的是相关性相对于 Var(Y) 的大小。
知识点 7 · 总结
核心结论
双重稳健：用估计的 Q 当控制变量。依赖两个可能出错的来源（Q 模型、π_b），只要有一个是对的就仍然相合 —— 两条腿断一条还站得住。
底层机制
MAGIC 的巧处：用 IS（无偏）的置信区间去量模型（有偏）的偏差 —— 模型估计落在区间外多远，就是偏差的一个可算的下界。拿抖的量准的。
常见误解
误解：「MSE = 偏差 + 方差」。正确是 偏差² + 方差。偏差 0.5、方差 0.1 → 正确 0.35，说法给 0.60；偏差 2.0 时正确 4.10、说法给 2.10 —— 方向在偏差=1 处翻转。
与你的考试
这处口误有系统性后果：本讲的偏差都远小于 1（加权 IS 是 0.024），平方后几乎消失（0.00058）；用「偏差+方差」会把它放大四十倍，于是系统性偏向无偏高方差的那一端 —— 正是这一讲一路论证不该选的那端。
知识点 7 · 检验
MAGIC 在不知道真值的情况下，怎么估计基于模型的估计量的偏差？
IS 是无偏的，所以它的置信区间以高概率框住真值。基于模型的估计如果落在区间外面，它离真值至少有「它到区间边界」那么远 —— 一个可算的偏差下界。这是用方差大但无偏的去量方差小但有偏的，两者长处互补。「交叉验证测偏差」做不到 —— 留出集上同样没有真值。「偏差与方差成正比」没有这个关系。「自助采样」自助法估的是方差，对偏差无能为力（它重采样的仍是同一份有偏的数据）。
知识点 8 · 总结
核心结论
Hoeffding 的下界 V̂ − b·√(ln(1/δ)/(2n)) 依赖取值范围 b。被平均的是加权回报，而权重 ∏π_e/π_b 随时域指数增长：π_b≈0.1 时是 10^L，mountain car 的 L≈200 → 10²⁰⁰。
底层机制
实测：真值 0.19、回报全在 [0,1]、十万条轨迹 → 下界 −5,000,000。反推图里实际用的 b ≈ 1.3×10⁹（已经不是理论最坏值 10²⁰⁰，仍然如此）。
常见误解
误解：「套个 Hoeffding 就行」。界完全正确，也完全没用。n 在根号里，而 b 是指数的 —— 加数据救不回来。
与你的考试
同一形状的第三次出现：L10 的 C=39600ε、L12 的 10^T 初始化、L15 的 10^L 范围。定理正确，常数大到没法用。三次的出路也相似：放弃理论最坏值，换一个只朝安全方向偏的近似。（讲座把 Hoeffding 写成「b·√(1/n)」，漏了 ln(1/δ) 和 2。）
知识点 8 · 检验
为什么把 Hoeffding 直接用在 IS 估计量上会给出 −5 百万这样的界？
回报确实在 [0,1] 里，但权重不是：∏_t π_e/π_b 每步贡献约 10 倍，200 步就是 10²⁰⁰。Hoeffding 拿这个当 b，乘上 √(ln(1/δ)/(2n)) —— n 在根号里而 b 是指数的，加数据救不回来。「IS 有偏」事实错误，普通 IS 是无偏的。「数据太少」反推可知：要把 −5×10⁶ 拉到 0 附近需要的 n 是天文数字。「奖励可以为负」讲座明说回报全在 [0,1]，而界仍然给 −5 百万 —— 这正是它荒谬的地方。
知识点 9 · 总结
核心结论
巨大的 b 是被极少数权重极大的轨迹撑起来的。扔掉加权回报的上尾 ⟹ 估计只会变低 ⟹ 下界仍然是下界。而 b 从「最极端的加权回报」降成「截断阈值」。
底层机制
同样十万条轨迹：界从 −5,000,000 变成 0.145，真值 0.19。数据一条没多，换的只是怎么构造那个界。
常见误解
误解：「扔数据会让界失效」。对点估计是对的，对下界不是 —— 关键在扔的是哪一侧。朝安全方向偏的近似可以免费使用。
与你的考试
阈值用20% 的留出数据调，剩下 80% 算界 —— 两份必须分开，否则 1−δ 的保证不成立。完整回路：搜候选 → 算下界 → 超过现任才部署，否则不动。开放问题：长时域、IS 对差异大的策略不公平、行为策略未知、非平稳、迁移。
知识点 9 · 检验
为什么「扔掉加权回报的上尾」不会让下置信界失效？
关键在扔的是哪一侧：去掉值最大的那些加权回报，估计只会变低、绝不会变高。于是「新下界 ≤ 旧估计的下界 ≤ 真值」这条链仍然闭合。朝安全方向偏的近似可以免费使用。代价是界变松 —— 但同时 b 从 10⁹ 量级降到截断阈值，净效果是界从 −5,000,000 变成 0.145（真值 0.19）。「影响可忽略」不是理由，而且不成立 —— 影响不小，只是方向安全。「留出数据消除偏差」留出数据是为了让 1−δ 成立，不是消偏。「仍然无偏」事实错误：截断后确实有偏，偏低 —— 而那正是它安全的原因。