65 镜一次看完 · Ctrl+F 可搜全文 · Ctrl+P 可存成 PDF · 想看动画回放映厅
知识点 1 · 总结
核心结论
线性逼近 V̂(s;w)=x(s)ᵀw。更新 s 时，s′ 的值变化正比于 x(s′)ᵀx(s)；one-hot 时这个内积恒为 0。
底层机制
泛化与干扰是同一个内积：特征重叠让你能推广，也让你修一个状态时弄坏另一个。无法只要前者。
常见误解
误解：「只是换个存法，算法没变」。被拿掉的是「更新互不影响」这条隐含性质。
与你的考试
前四讲的逐状态收敛论证（如 L2 的 γ-压缩）默认能单独谈论每个状态的值 —— 共享参数之后这个动作本身就不存在了。
知识点 1 · 检验
线性值函数逼近下，更新状态 s 会让状态 s′ 的估值变化多少？
线性逼近下 Δw ∝ x(s)，而 V̂(s′)=x(s′)ᵀw，所以 ΔV̂(s′) ∝ x(s′)ᵀx(s)。这一个内积同时是泛化的来源和干扰的来源 —— 两者分不开。「互相独立」只在 one-hot（表格）特征下成立，那正是这一集要指出的特例。TD 误差之差与此无关：更新量由被更新那一步的 δ 和特征决定，不由另一个状态的 δ 决定。γ 的距离次方是 L2/L3 里信息传播的图像，那描述的是多轮之后的影响，而这里说的是一次更新的即时串扰。
知识点 2 · 总结
核心结论
J(w)=E_d[(V^π(s)−V̂(s;w))²]，SGD 后线性情形 ∇V̂=x(s)，于是 Δw = α(目标 − x(s)ᵀw)·x(s) —— 误差 × 特征 × 步长。
底层机制
麻烦不在这条式子里，在往「目标」那个槽里塞什么（神谕不存在）。后面所有坏消息都来自那个槽。
常见误解
误解：「值函数逼近是一套新算法」。它就是线性回归的随机梯度下降，一个新东西都没有。
与你的考试
字幕坏损：−½α 全程被渲染成「1.5 alpha」，V^π(s) 成「P pi of S」。符号约定固定为：误差 =（目标 − 预测），更新加 αδx。
知识点 2 · 检验
线性值函数逼近下，为什么更新式里只剩下特征 x(s)？
V̂ 关于 w 是线性的，所以 ∇_w V̂(s;w) = x(s) —— 梯度就是特征本身，更新式因此塌成「误差 × 特征 × 步长」。归一化与此无关，特征归不归一化梯度都是 x(s)。「消掉高阶项」不成立：这里根本没有高阶项，线性模型的梯度是精确的而不是近似的。平方误差只决定了外层那个「误差」因子的形式（求导后留下一次项），不决定为什么梯度是特征 —— 换成别的损失，∇_w V̂ 仍然是 x(s)。
知识点 3 · 总结
核心结论
槽里可填：真值（只作对照）· G_t（无偏、不需 Markov、只能回合制）· r+γx(s′)ᵀw（在线、低方差、有偏）。
底层机制
函数逼近没有在「采样 / 自举」这两根轴上新增坐标，它是在其外叠了一层投影到可表示函数类。
常见误解
误解：「三个目标是三个算法」。共用同一条式子，优缺点不必重新推导。
与你的考试
TD 目标里出现了 w —— 标签依赖于你正在优化的参数。这是第七集「不是真正的梯度下降」的源头。
知识点 3 · 检验
相比 L3 的表格版本，函数逼近真正新增的是什么？
采样与自举这两根轴一点没变，MC / TD / DP 还在原来的格子里。新增的是：你算出的目标未必落在 V̂(·;w) 能表示的函数里，于是要投影回去。表格（one-hot）下这层投影是恒等映射，所以前四讲从没见过它 —— 而它正是后面发散问题的唯一来源。「第三根轴」把叠加的一层误当成同一平面上的新维度。「去掉 Markov 要求」方向反了：自举仍然需要 Markov 性，函数逼近还额外引入了状态混叠。「让 TD 无偏」更是相反 —— 函数逼近只会让 TD 的偏差来源多一个（逼近误差）。
知识点 4 · 总结
核心结论
J(w)=Σ_s d(s)(V^π(s)−V̂(s;w))²，d 满足 d(s′)=Σ_s Σ_a d(s)π(a|s)P(s′|s,a)（对动作求和是为随机策略）。
底层机制
参数少于状态 ⟹ 必须取舍；取舍依据是访问频率。换策略换 d，于是换一组最优权重。
常见误解
误解：「均方误差就是对状态平均」。加权不是均匀的，也不是你选的。
与你的考试
三处缺口：结论都相对 d 成立；d 的存在要不可约+非周期（L2 第一集）；控制想要另一个加权，她自己承认。
知识点 4 · 检验
值函数逼近的目标函数 J(w) 里，误差是按什么加权的？
J(w)=Σ_s d(s)(V^π(s)−V̂(s;w))²，d 是策略跑起来后各状态的长期访问频率，满足 d(s′)=Σ_sΣ_a d(s)π(a|s)P(s′|s,a)。参数少于状态时必须取舍，而取舍的依据就是这个访问频率。均匀平均正是「均方误差」这个名字造成的误解 —— 它只在均匀随机游走这种特例下才成立。按真值大小没有依据，而且会让大值状态主导，与访问频率无关。按 TD 误差把被加权的量和权重搞混了：TD 误差是被平方求和的对象，不是权重。
知识点 5 · 总结
核心结论
MSVE(w_TD) ≤ [1/(1−γ)]·min_w MSVE(w)。因子：γ=0.9 → 10；γ=0.95 → 20；γ=0.99 → 100。
底层机制
MC 的标签无偏，做的是标准最小二乘；TD 的标签含 w，它并不在最小化 MSVE（第七集）。
常见误解
误解：「都收敛所以都收敛到最优逼近」。只有 MC 是。另：讲座两次把 ≤ 说成 =。
与你的考试
这是最坏情况的界，不是实际差距。与 L2 第九集的 γ/(1−γ) 同形：凡是自举，1/(1−γ) 就会作为放大系数出现。
知识点 5 · 检验
γ = 0.99 时，Tsitsiklis–Van Roy 的界说 TD(0) 的 MSVE 最多是最优逼近的多少倍？
界是 MSVE(w_TD) ≤ [1/(1−γ)]·min_w MSVE(w)，γ=0.99 时因子 = 100。1 倍正是这一集要反驳的误解 —— 只有 MC 达到 min MSVE。0.99 倍把因子写成了 γ 本身，而且小于 1 的因子会意味着 TD 比最优逼近还好，逻辑上不可能。「无界」混淆了两个设定：在策略的线性 TD 是收敛的，这条界正是描述它收敛到哪；发散只发生在离策略（第八、九集），那时这条界不适用。注意这是最坏情况的上界，实践中通常好得多。
知识点 6 · 总结
核心结论
one-hot ⟹ 真值函数在可表示类里 ⟹ min_w MSVE = 0。于是 MC 误差 = 0，TD 误差 ≤ 100×0 = 0。
底层机制
那个 1/(1−γ) 的因子乘在零上就消失了。因子多大都无所谓 —— 这正是前四讲结论干净的原因。
常见误解
误解：「表格只是特征多一点」。形式上对，但漏掉了它独有的性质：可表示类装得下真值。
与你的考试
判别法：L1–L4 的每条干净结论，先问「它是否依赖 min MSVE = 0」。是，则换成真实特征后只剩带因子的版本。
知识点 6 · 检验
为什么 L1–L4 的 TD 类算法从没出现过那个 1/(1−γ) 的损失？
取 w = V^π 就能用 one-hot 特征精确表示真值函数，所以 min_w MSVE = 0。TD 的界是 [1/(1−γ)]·min MSVE，右边是 0，因子再大也被吞掉。γ 比较小不成立：L2 用过 γ=0.99，因子同样是 100，照样没出现损失。「TD 变无偏」是事实错误 —— 表格下 TD 仍然有偏（L3 第四集），只是相合。同步更新与此无关：Q-learning、SARSA 都是异步的，结论一样干净。
知识点 7 · 总结
核心结论
真梯度含 γx(s′) − x(s) 两项，TD 只用 x(s)，把 γx(s′) 扔了（假装目标是常数）。所以它不是任何 J 的梯度。
底层机制
三个填法里只有 MC 的标签不含 w，只有它是真梯度下降 —— 这也解释了为什么只有它达到 min MSVE。
常见误解
误解：「它在最小化某个损失，只是不是 MSVE」。更强也更坏：不存在那个损失函数。
与你的考试
后果：没有单调下降保证。它收敛到的是不动点而非极小点；1/(1−γ) 量的正是两者能差多远。
知识点 7 · 检验
「半梯度」这个名字里的「半」指的是什么？
TD 目标 r+γx(s′)ᵀw 里含 w，老实求导会得到 γx(s′) − x(s) 两项；TD 只用 x(s)，把 γx(s′) 扔掉，也就是假装目标是常数。后果是它不再是任何函数的梯度，因而没有单调下降保证。步长减半是量的调整，改不了它是不是梯度。「一半参数」不对：所有分量都在更新。「一半样本」与此无关 —— 真正需要两个独立样本的反而是残差梯度那个真梯度版本。
知识点 8 · 总结
核心结论
Baird 7 状态、8 维特征、奖励全 0（真值 V≡0，且 w=0 精确可表示）。α、γ、特征全部相同，跑 1000 轮：在策略 V̂(s₁) 3.00→1.53，离策略 3.13→563.9。
底层机制
唯一变量是数据来自哪个策略。不是特征不好，不是步长太大，也不是函数类不够用。
常见误解
误解：「那是特征没选好/步长开太大」。两者在两边完全相同。丢掉动作不匹配的样本也照样发散。
与你的考试
字幕重建：x(sᵢ)=2eᵢ+e₈、x(s₇)=e₇+2e₈，由她口述的 V̂(s₁)=V̂(s₇)=3 验证。γ 两处不同：前 0.9，后 0.99。
知识点 8 · 检验
Baird 反例里，离策略半梯度 TD 发散的原因是什么？
在策略与离策略两次实验的特征、α、γ、更新式完全相同，唯一差别是数据来自哪个策略 —— 一个收敛（V̂(s₁) 3.00→1.53），一个发散（3.13→563.9）。「特征表达不了」直接被设定否定：真值 V≡0，而 w=0 就精确表示它，逼近误差可以是 0。步长两边一样。「奖励全 0 太稀疏」反了 —— 全 0 让正确答案变成最平凡的一个，任务比一般情形更容易，却仍然发散，这恰恰让反例更有力。
知识点 9 · 总结
核心结论
实际迭代的是 Π∘B。B 是 sup 范数下的 γ-压缩，Π 只在自己的加权范数下非扩张 —— 两个范数不一致，复合可能扩张，不动点可能不存在。
底层机制
致命三要素：函数逼近 + 自举 + 离策略。三者单独都收敛，凑齐才发散。在策略时两个范数恰好对上，所以没事。
常见误解
误解：「压缩映射不会发散，L2 证过了」。定理没错 —— 你跑的已经不是那个映射。
与你的考试
她的结语：稳定还不够。收敛到哪（取决于目标与特征）和收不收敛同样重要 —— 第五集的 1/(1−γ) 量的就是这件事。
知识点 9 · 检验
L2 证明了 Bellman 算子是 γ-压缩。为什么函数逼近下还会发散？
B 的 γ-压缩是在 sup 范数下成立的；而函数逼近要求每步之后把结果投影回可表示类，投影只在它自己的加权范数下非扩张。两个范数不一致，Π∘B 就未必是压缩，不动点可能根本不存在。在策略时两者恰好对上（投影用的正是 d 加权范数），所以不发散。「证明有漏洞」不成立，那条证明是对的 —— 错的是把它用在了另一个映射上。「γ 大于 1」是事实错误，γ 是你设的常数。「TD 误差不趋于 0」在表格随机环境下就已经成立（L3 第八集），却不导致发散，所以它不是原因。