CS224R 深度强化学习 · 中文学习站

斯坦福 CS224R Spring 2025（Chelsea Finn）。一讲一行，点开看知识点清单。它补的正是 CS234 2019 版没有的三块：PPO（L05）、RLHF / DPO（L09）、LLM 推理（L10）。

放映厅动画讲解，空格推进 精读左课件右讲解，一次一页，带自测与错题本 课件原始课件
L01 课程导论与 MDP、模仿学习开篇15 条讲解 放映厅精读课件
  1. 开场六页：从课务安排里能读出这门课的取舍
  2. 这门课的分界线：数据不是独立同分布，因为动作会改变你将来看到什么
  3. 四次作业就是整门课的地图，而默认项目恰好撞上你的方向
  4. 三页实务提醒，其中一句对做研究的人同样成立
  5. 四条理由，而第三条「反馈回路」是你最该带走的那一条
  6. 七张应用截图：挑出其中两张就够，但要挑对
  7. 「从经验中变好」，和那张拆穿一切的照片
  8. 五个名词定完，RL 的世界就搭好了——其中两个带着容易漏掉的小括号
  9. 同一套记号套两个完全不同的场景，其中聊天机器人那个奖励值得停一下
  10. 把行为变成一个可以求导的东西：策略，以及 rollout 这个词
  11. 目标写不出来的那一刻：回报不是一个确定的数，所以要套一个期望
  12. 为什么策略非得是随机的：一个为了学，一个为了学得像
  13. 值函数与 Q 函数：为了改进策略，先得能评价策略
  14. 五族算法，和一句「为什么不能只有一个算法」
  15. 回顾页：把两个新名词补上，然后指向下一讲
讲稿全文原讲座 ↗
L02 模仿学习：行为克隆与 DAgger10 条讲解 放映厅精读课件
  1. 开场：这一讲在整门课里是「先抄一遍」，而三个学习目标里有一个是通用技能
  2. 最朴素的做法，和它在两秒内就会碰到的那堵墙
  3. 三页讲清「怎么用神经网络表示分布」，而红线那一句是整讲最该记住的
  4. version 1：把平方损失换成对数似然，以及两组证明它有用的实验
  5. 四页收尾：真实系统在用什么，以及 offline / online 这对定义
  6. 复合误差：行为克隆真正的敌人，而它的根就是 L01 那条分界
  7. DAgger：让策略自己走，再让专家在它走到的地方补答案
  8. HG-DAgger：别问专家「你会怎么做」，让他直接接管
  9. 示范是怎么采来的：三种界面，和一条跨不过去的差距
  10. 小结：两部分、四条取舍，和最后那句指向整门课后半的话
讲稿全文原讲座 ↗
L03 策略梯度19 条讲解 放映厅精读课件
  1. 这一讲的位置：第一个在线 RL 算法，也是后面 PPO / RLHF 的地基
  2. 回顾：目标是最大化期望回报，而模仿学习的天花板就是示范者本人
  3. 在线 RL 的骨架：采一批数据、用它改进策略、再采 —— 以及初始化的三种办法
  4. 目标只能用样本估计 —— 而这恰恰是不能直接求导的原因
  5. 对数梯度技巧：一个两行的恒等式，把 θ 挪进期望里面
  6. 动力学自己消失了 —— 这是策略梯度最值钱的一条性质
  7. REINFORCE：把期望换成样本平均，三行就是完整算法
  8. 这个梯度在做什么：它就是模仿学习的梯度，只不过按回报加了权
  9. 第一个让人不舒服的例子：梯度会鼓励机器人「向前倒」而不是迈步
  10. 因果性：时刻 t 的动作管不着 t 之前的奖励，于是只保留未来那一段
  11. 第二个不舒服的例子：四条轨迹全是正回报，于是「踉跄」也被鼓励
  12. 基线：减掉一个常数，期望一点不变，方差却降下来了
  13. 叠外套：加了基线之后，梯度对四条轨迹里的三条是同一个数
  14. 代理目标：别真去求那个梯度，去求一个梯度和它相同的东西
  15. on-policy 的代价：每走一步梯度，前面采的数据就作废了
  16. 重要性采样：用旧策略的样本估新策略的期望，代价是一个会爆炸的连乘
  17. 把连乘拆成逐时刻：代价是一个被直接当成 1 的比值
  18. 终于能多走几步了——但走多远要由 KL 来管
  19. 回顾：一讲之内从「第一个 RL 算法」走到了 PPO 的门口
讲稿全文原讲座 ↗
L04 Actor-Critic：用值函数换掉回报17 条讲解 放映厅精读课件
  1. 开场：上一讲停在哪，以及那个「只能走一步梯度」的遗憾
  2. 三个量，两条关系——而优势函数才是这一讲真正要的那个
  3. 练鼓那个例子：一个坏策略会让所有东西看起来一样坏
  4. 正面说出那个不满意：策略梯度没把采来的数据用好
  5. 把「这一次拿到多少」换成「期望能拿到多少」
  6. 在线 RL 的骨架多了一个方框，而整门课的后半都在填它
  7. 该拟合哪一个：答案是「只拟合 V，其余用采到的下一步补出来」
  8. 蒙特卡洛：最诚实的估法，代价是你不能把世界倒回去
  9. 自举：用自己现在的估计，去造自己下一步的标签
  10. 偏差与方差摆在同一张图上，然后给出那个可调的旋钮
  11. 补上折扣因子，然后五步写完整个 Actor-Critic
  12. 小结：observe 与 learn to estimate，一词之差
  13. 版本一：同一套五步，只在第 4 步插一个重要性权重
  14. 回放缓冲区，以及讲义直接写在幻灯上的那句「算法现在是坏的」
  15. 两处定点修补：把 V 换成 Q，把动作重新采一遍
  16. 最后一个问题修不了，讲义直接说「接受它」
  17. 收尾：两条路的取舍，以及一句「PPO 更好调」
讲稿全文原讲座 ↗
L05 离策略 Actor-Critic 与 PPO20 条讲解 放映厅精读课件
  1. 这一讲要解决的是「一批数据只能走一步梯度」这件浪费事
  2. 重要性权重：让「别人采的样」能算出「我的梯度」
  3. V、Q、A：三个对象，一句话各自说清
  4. Actor-Critic：把「往后的回报」换成「优势的估计」
  5. 今天的路线图：一个旋钮，两个刻度
  6. 把重要性权重插进 actor-critic：五步算法里只动了第 4 步
  7. 会坏在哪：优势是旧的，而策略被鼓励跑得越远越好
  8. 两条路：约束策略本身，还是拆掉偏离的动机
  9. PPO 的两个 trick：截断，再取 min
  10. GAE：把不同步长的优势估计加权平均
  11. 实用 PPO：四步，以及一组真实的超参数
  12. 再往前一步：能不能把<b>所有</b>历史数据都留着？
  13. 装上回放缓冲，算法当场就坏了：V 到底是谁的 V？
  14. 解法：拟合 Q 而不是 V，因为动作可以当输入传进去
  15. 两处修补：用 Q̂ 代替 Â，动作从当前策略采
  16. 剩下的问题，以及这套东西的名字：SAC
  17. 这笔账的两面：数据效率 vs 好不好调
  18. 完全离策略的价值：数据效率高到能在真机上跑 RL
  19. PPO 的位置：稳，但费数据 —— 所以活在仿真里
  20. 一句预告：语言模型这边，PPO 是常见选择
讲稿全文原讲座 ↗
L06 Q-learning5 条讲解 放映厅精读课件
  1. 开场：三讲走到这里，第三次改动那个梯度式子——这次是干脆不要它
  2. 思考题：按 Q 贪心一次，策略变好了，但没变最优
  3. forget policies：把「从当前策略采一个动作」换成「取最大值」
  4. 两个贝尔曼方程，和一句「一般情况下不收敛 😢」
  5. 既然目标里有个 max，那就必须保证「每个动作你都见过」
讲稿全文原讲座 ↗
L07 离线强化学习33 页课件 放映厅精读课件
还没有中文讲解。
讲稿全文原讲座 ↗
L08 奖励学习34 页课件 放映厅精读课件
还没有中文讲解。
讲稿全文原讲座 ↗
L09 RL for LLMs：偏好优化（RLHF / DPO）57 页课件 放映厅精读课件
还没有中文讲解。
讲稿全文原讲座 ↗
L10 RL for LLMs：推理28 条讲解 放映厅精读课件
  1. 客座讲座的设定：把「推理」窄化成解竞赛数学题，答案必须是一个可判对错的数
  2. 为什么次词预测能work：一个把「能学多准」和「有多少数据」绑在一起的标度式
  3. 数据确实不够：文本估计 2028 年耗尽，而具身领域更少得多
  4. 就算有数据也不够：模型会写出一份「看起来很像」但逻辑是错的解答
  5. 全讲的骨架：以 DeepSeek-R1 为界，切成「经典技术」与「现代延伸」两半
  6. 把解题写成 MDP：稀疏奖励 + 确定性动力学，而状态就是「到目前为止写的所有字」
  7. 三条可以独立加码的数据轴：人写的解 / 自己写对的解 / 连写错的也用
  8. 热身实测：加题目数确实有用，但指数小得让人绝望
  9. ⚠ 不能一味地在自己的正确解上做 SFT —— 误差会先降后升
  10. 病因：解答里混着「多余却无害」的步骤，模型把它们一起学了进去
  11. 出路：给每一「步」单独记分 —— 只要能较准确地指认出多余的步骤
  12. 怎么判断一步是不是多余：把前缀固定住，让别人把后面补完，看补得成不成
  13. 把那个直觉写成 Q 函数：状态是前缀，动作是这一步，回报是补完之后的期望成败
  14. 优势 = 相邻两步 Q 值之差；那组数字里藏着「失败轨迹里的好步骤」
  15. 用法一：按优势过滤 —— 捞出失败解答里的好步骤，剔掉成功解答里的坏步骤
  16. 用法二：把 rollout 本身留下来，和原解答配成「共享前缀」的偏好对喂给 DPO
  17. 结果：逐步 DPO 相比只做模仿，给出八倍的数据效率 —— 论文标题里那个数
  18. 在线 RL 的基本配方：就是 0/1 奖励上的策略梯度，一行公式
  19. 在线情形下 rollout 太贵 ⇒ 拟合一个优势预测器；而「用哪个 π̃」成了核心问题
  20. 结果：稠密奖励给五到六倍样本效率，而且它真正买到的是「难题上的探索」
  21. Part 1 收尾：三句话把「挑战 / 算法 / 结果」说完
  22. thinking 模型长什么样：一条反复「等一下、换个思路、我再确认一遍」的轨迹
  23. 到底变了什么：目标函数没变，变的是「一步」能有多大、以及允许写多长
  24. ⭐ 形式化：在「每题的算力预算」这个硬约束下最大化准确率
  25. ⚠ 同一套配方，有的基座模型长出了验证与回溯，有的什么都没长出来
  26. RL 训练会把回答越写越长 —— 而且长度与准确率同步上升
  27. 测试期扩展：同一个模型想得更久，可能比换一个更大的模型更划算
  28. 成绩与未竟之问：三个框里最值钱的是「差距随 √H 增长」
讲稿全文原讲座 ↗
L11 基于模型的强化学习38 页课件 放映厅精读课件
还没有中文讲解。
讲稿全文原讲座 ↗
L12 多任务与目标条件强化学习29 页课件 放映厅精读课件
还没有中文讲解。
讲稿全文原讲座 ↗
L13 元强化学习39 页课件 放映厅精读课件
还没有中文讲解。
讲稿全文原讲座 ↗
L14 探索与元探索34 页课件 放映厅精读课件
还没有中文讲解。
讲稿全文原讲座 ↗
L15 模仿与强化学习中的分层18 条讲解 放映厅精读课件
  1. 接口：从「会做多个任务」到「把多个任务串起来」
  2. 长时程任务为什么难：三条，而第三条最毒
  3. 主意：拆成子任务，两层策略，和怎么滚动起来
  4. 分层为什么可能有帮助：四条，各管一件事
  5. 真的需要两个策略吗：扁平、分层、思维链
  6. 设计选择①：目标该怎么表示——三条性质
  7. 端到端训一个「隐式目标」的两层网络？那就是个扁平策略
  8. 先有鸡还是先有蛋：两层各自的训练分布都由对方决定
  9. 解法：可以分开训，但至少有一边要去适配另一边
  10. 设计选择③：什么时候换下一个子目标——两种错误，一种更致命
  11. 分层正热：四个系统，四五个月内，全是两层
  12. 语言子目标：数据怎么切，两层怎么接
  13. 在语言空间里做 DAgger：冻住低层，只改高层
  14. 真的有用吗：那个 34%，和它该怎么读
  15. 图像子目标：省掉语言标注，还能吃无标注视频
  16. 思维链版本，和那个被点名的公开问题
  17. 分层强化学习：两种目标空间，和事后重标注
  18. 收尾：把三个设计选择再看一遍
讲稿全文原讲座 ↗
L16 机器人上的 RL：自主学习16 条讲解 放映厅精读课件
  1. 今天要补的那一环：「自主」其实有两层意思
  2. env.reset() 只在仿真里有
  3. 自主 RL 的定义，和那个很要紧的星号
  4. 两种评估：火星车还是厨师
  5. 为什么值得做：自主解锁的是数据
  6. 把幕加长试试：实验直接否掉了这条路
  7. 两个挑战：漂走了，和挤成一团
  8. FBRL：那就学一个「撤销」策略
  9. MEDAL：别退回起点，退回专家走过的那一片
  10. 结果：专门设计过的才行，以及真机上是什么样
  11. 任务循环：把「撤销」换成「练点别的」
  12. 该练哪个任务？这是一个被点名的公开问题
  13. 部署之后呢：人也会犯错，然后在一瞬间调整过来
  14. 单生命 RL：一条命，而且场景是没见过的
  15. 两个有用的想法：往熟悉的地方靠，和在技能空间里适应
  16. 收尾：自主的两半，以及安全那个没解决的问题
讲稿全文原讲座 ↗
L17 用强化学习提升机器人智能19 条讲解 放映厅精读课件
  1. 两个成功要素：奖励说得清，评估跑得起
  2. 先看结果：同一套权重，零样本，而且全程是盲的
  3. 在仿真里学走路：把特权信息<b>直接喂给</b>策略
  4. 部署的坎，和那个关键洞察：落差里藏着答案
  5. 两阶段训练，和一个没人设计过的频率不匹配
  6. 室内评测：橄榄油、抛过来的 5 公斤、和会跑的木板
  7. 把适应模块关掉：同样的重量，它就栽了
  8. 适应模块到底在做什么：三张图，和一条讲者自己都读不懂的曲线
  9. 四条基线，和那个反直觉的结果：显式估物理量反而更差
  10. 为什么要视觉：一个是非看不可，一个是别老撞楼梯
  11. 地形图是条错路：错在你先解了一个更难的问题
  12. 同一套两阶段，换了特权信息：从完美地形高度到第一视角深度
  13. 涌现行为：因为没规定步态，它自己学会了把腿张开上楼
  14. 对比表：在楼梯上，瞎走比用噪声地图强一倍
  15. 手内操作：从「指令与实际的差」里读出接触
  16. 无人机：同一套权重飞两台差四倍重的机器
  17. 还剩什么：为什么运动控制三四年前就成了，而操作还没有
  18. 仿真押算力，奖励模型押人——以及那句「RL 会钻你奖励的空子」
  19. 超越人类：与人持平只是第一步
讲稿全文原讲座 ↗
L18 前沿、开放问题与怎么做研究53 页课件 放映厅精读课件
还没有中文讲解。
讲稿全文原讲座 ↗
L19 辅导课：Q-learning 回顾35 页课件 放映厅精读课件
还没有中文讲解。
讲稿全文原讲座 ↗