这一讲的 p33 把你的问题一字不差地写成了一个式子，而且课件自己在旁边标了 off policy learning!

相对性能恒等式：V(新) = V(旧) + E_{新}[ Σ γ^t A^旧(s,a) ]——「新配置比旧配置好多少」= 在新配置会走到的地方，按旧配置的优势加权求和。而卡住的恰恰是「新配置会走到的地方」：换一档保真度，中间产物就变了，后续节点面对的输入分布也就变了。这是 L07 p30「节点 h 改变 h+1 输入分布」的第三次出现——L07 从误差累积说它，L05 从 off-policy 发散说它，这一讲从「我算不出这个期望」说它。

而这一讲给的答案是整条线里最务实的一个：硬换，然后量化错多少。把新策略的访问频率换成旧的，得到一个能算的代理目标（p36）；再证明真实值不会比它低太多，低多少由「新旧策略差多远」决定（p37–p38）。于是你得到一条可操作的结论：新配置和日志里的配置越接近，你对它的估计越可信——而「接近」是可以用 KL 量出来的，不是感觉。

这条结论还有一个一石二鸟的好处（p43 科研格）：信赖域约束同时在管两件事——代理目标还是不是好近似，以及重要性权重会不会爆炸。而后者正是你已经在用 ESS 监控的那件事。ESS 低 ⇔ 两个分布差太远 ⇔ 你走出了信赖域，三句话说的是同一件事。

最后，那个 1/(1−γ)² 的惩罚系数是你短流水线优势最鲜明的一次体现。γ=0.99 时它是 10000；而有限 horizon 下它该换成 H²，H=5–10 时只有 25–100——相差一百到四百倍。这和 L02 的 γ=1、L05 的 1/(1−γ) 放大、L07 的 εT² 是同一个来源，四处合起来值得在 paper 里写成一段独立的结构性论证，而不是散落各处的四个巧合。

CS234 第九讲 · 策略梯度 II：基线、actor-critic，以及「该走多远」