学习总入口

一个入口:研究学习清单、三门课(CS234 / CS224R / CSE 541)与一本书(Sutton & Barto)的中文学习站、以及本学期 ARTI2001 的全部材料。按 / 搜索,Esc 清空。

研究学习清单10 个条目

十条,四个梯队。每条都绑着一个能拿去和导师讨论的产出。打开完整清单 ↗

1 · CSE 541 Interactive Learning + Lattimore & Szepesvári
纯探索 bandit 是当前论文最硬的缺口,也是 cost-efficiency bound 的承重墙。
2 · MCTS 理论:从 bandit 到树搜索
填在 UCB1 与 Kaufmann–Koolen 之间的理论空白上:你的搜索那一侧要讲清楚它优化的到底是哪个量。
3 · 约束推理与剪枝:CSP、nogood、dominance
你的 combinatorial nogood 在概念上是这条线的后代 —— related work 的定位和术语都要从这里借。
4 · CS234 收尾 + Sutton & Barto
把已经学过的 RL 补完整:CS234 精读 15 讲已全部做完;书上真正的增量是规划那一章,也已建成,剩下五章属于复习。
5 · CS224R Deep RL(Spring 2025)
补上 CS234 2019 版没有的三块:PPO、RLHF/DPO、LLM 推理 —— 审稿人默认你懂这些。
6 · 博弈论入门(Coursera / Shoham & Leyton-Brown)
和导师在同一套语言里讨论问题 —— 郭老师做算法博弈论,师承 Conitzer。
7 · MIT 6.S890 Topics in Multiagent Learning(Fall 2024)
博弈论部分对你最重要的一门:直接复用梯队 1 的 online learning 与 regret 工具,而 CFR 正是 Jiyao 在做的方向。
8 · Stanford CS364A 算法博弈论(Roughgarden, Fall 2013)
郭老师的本行。对当前论文不承重,价值在于和导师对话以及 PhD 阶段的广度。
9 · Berkeley LLM Agents MOOC(F24 / S25 / F25)
投 ACL/NAACL/AAAI 的领域常识:审稿人默认你懂 LLM agent 的评估与推理。
10 · Stanford CS336 Language Modeling from Scratch(Spring 2025)
领域常识的另一半:inference 与 alignment 的工程细节。

CS234 强化学习 · 中文学习站15 讲

斯坦福 Winter 2019(Emma Brunskill)。四种读法:放映厅看讲解、速览一屏滚到底、精读左课件右讲解带自测、课件是原件。课程入口 ↗

L01
强化学习导论
三个承重词:序贯 · 好 · 学 · 四要素坐标系 · 用四盏灯划清边界
L02
已知世界模型:MP / MRP / MDP,策略迭代与值迭代
「链会忘掉起点」缺了两个前提 · 算值函数的三条路:代价不同,能走多远也不同 · (I−γP)⁻¹ 为什么一定存在,γ=1 时又为什么真的塌掉
L03
无模型策略评估:蒙特卡洛、时序差分与重要性采样
自举:DP 不是「没有偏差」,是没有采样误差 · 采样与自举是两个独立的轴,不是一条滑杆 · 首次访问 MC:无偏,而且不需要 Markov 性
L04
无模型控制:ε-贪婪、SARSA、Q-learning 与最大化偏差
控制必须估 Q,不是 V —— 因为从 V 贪心要穿过模型 · 确定性贪心策略,学不到它没试过的动作 · ε-greedy 的贪心概率是 1−ε+ε/|A|,不是 1−ε
L05
值函数逼近:线性 VFA、收敛保证与致命三件套
表格是特例,不是默认 —— 泛化的另一面是干扰 · 策略评估就是回归:整讲只有一条更新式 · 同一个槽,换三个目标:真值 / 回报 / 自举
L06
卷积网络与深度 Q 学习:DQN 及其三个改进
线性特征的天花板:你得先猜对那组基 · 核方法是 averager,所以安全 —— 但覆盖不了高维 · CNN 不是「更聪明」,它是参数削减装置
L07
模仿学习:行为克隆、DAGGER、逆强化学习与特征匹配
Double DQN 与目标网络:解耦,但不减速 · dueling 的 (V, A) 分解不唯一 —— 必须定规范 · 探索在最坏情况下很贵,所以去找别的监督信号
L08
策略梯度 I:不再绕值函数,直接对策略求导
为什么要直接参数化策略,而不是从 Q 读出来 · 随机策略是必需的 —— L2 那条定理有三个前提 · 状态混叠:确定性策略在看起来相同的状态上必须做同样的事
L09
策略梯度 II:基线、actor-critic,以及「该走多远」
基线:减去 b(s) 不改变期望,证明只有六步 · 无偏是无条件的,降方差不是 —— 坏基线会加方差 · vanilla policy gradient:把这一讲装配成一个模板
L10
保守策略改进与 TRPO:把「不变差」变成一条可优化的下界
为什么要「单调改进」—— 部署是有代价的 · 一般下界:从混合策略推广到任意随机策略 · 板上的 D_TV 写成了 L∞ —— 两者只在两动作时相等
L11
探索与多臂老虎机:把判据从「能不能学到」换成「要多少数据」
判据换了:从「能不能学到」到「要多少数据」 · 遗憾:累积的机会损失,不是当前有多好 · 贪心和固定 ε-贪心都是线性遗憾 —— 有探索不等于够
L12
从频率派到贝叶斯,从老虎机回到 MDP
依赖差距的界:算法不需要知道差距,遗憾却由差距决定 · UCB 给明显坏的臂恰好零概率 —— ε-贪心给它 0.0333 · 为什么必须上界:用下界贪心会确认偏误锁死
L13
把「探索是对的」证成定理,再承认它在深度网络上还不成立
PAC 和遗憾的参照系不同:一个比全局,一个比当下 · 板上的 PAC 定义把 Q 和 V 混了 —— Q* ≤ V* 恒成立 · 三条充分条件,以及为什么光有乐观不行
L15
只有一份旧数据,怎么在上线之前就知道新策略更好
安全策略改进:上线之前就要有保证,而算法可以拒绝 · 重要性采样:环境的因子全部约掉,连马尔可夫假设都不需要 · 覆盖条件:无偏不够,行为策略得去过那些地方
L16
拟合一个模型就等于拥有一个模拟器,而模拟器可以拿来想事情
拟合一个模型 = 拥有一个模拟器,而模拟器什么都能干 · 代价:模型误差和规划误差叠在一起,而且会复合 · AB 例子:批 TD 与批 MC 收敛到两个不同的东西

CS224R 深度强化学习 · 中文学习站19 讲

斯坦福 Spring 2025(Chelsea Finn)。补 CS234 2019 版没有的三块:PPO(L05)、RLHF/DPO(L09)、LLM 推理(L10)。课程入口 ↗

L01
课程导论与 MDP、模仿学习开篇
这门课的分界线:数据不是 i.i.d. —— 动作会改变你将来看到什么 · 五个名词:状态 s · 动作 a · 观测 o(只在信息缺失时才用)· 轨迹 τ · 奖励 r(s,a) · 轨迹长度可以是 1 —— 那就退化成 bandit(没有状态转移、没有信用分配)
放映厅精读课件
L02
模仿学习:行为克隆与 DAgger
模仿学习绕开了那行目标函数:优化 min_θ −𝔼[log π_θ(a|s)],期望对固定数据集取 · ℓ2 回归的解是条件均值 —— 多模态示范下,均值常常是数据里几乎没出现过的动作 · 核心动作:让网络输出分布的参数,而不是一个动作
放映厅精读课件
L03
策略梯度
对数梯度技巧:∇p = p·∇log p,把 ∇ 挪进期望里,顺便让未知的动力学自己消失 · REINFORCE:采一批 → 按回报加权 → 走一步梯度。这是第一个真正的 RL 算法 · 因果性:时刻 t 的动作管不着 t 之前的奖励 ⇒ 只保留未来那一段。无偏
放映厅精读课件
L04
Actor-Critic:用值函数换掉回报
三个量:V 评状态 · Q 评状态+动作 · A 评动作本身(A = Q − V,自带依赖状态的基线) · 由 V = 𝔼_{a∼π}[Q] 立刻得 𝔼_{a∼π}[A] = 0 —— 优势天生零均值,鼓励与压制自动平衡 · ⚠ Q 被「之后按 π 走」的尾巴拖着:打鼓例里 Q(s,练鼓) 不是 1,是「练这一步后学会的概率」
放映厅精读课件
L05
离策略 Actor-Critic 与 PPO
同一批数据想多走几步梯度,会坏在哪 · 重要性权重:把「别人采的样」换算成「我的期望」 · PPO 的截断:截的是权重,不是步长
L06
Q-learning
放映厅精读课件
L07
离线强化学习
放映厅精读课件
L08
奖励学习
放映厅精读课件
L09
RL for LLMs:偏好优化(RLHF / DPO)
放映厅精读课件
L10
RL for LLMs:推理
放映厅精读课件
L11
基于模型的强化学习
放映厅精读课件
L12
多任务与目标条件强化学习
放映厅精读课件
L13
元强化学习
放映厅精读课件
L14
探索与元探索
放映厅精读课件
L15
模仿与强化学习中的分层
放映厅精读课件
L16
机器人上的 RL:自主学习
放映厅精读课件
L17
用强化学习提升机器人智能
放映厅精读课件
L18
前沿、开放问题与怎么做研究
放映厅精读课件
L19
辅导课:Q-learning 回顾
放映厅精读课件

CSE 541 交互式学习 · 中文学习站16 讲

华盛顿大学 Spring 2025(Kevin Jamieson)。学习清单条目 1 的主体 —— 纯探索 bandit。⚠ 讲义是手写稿,推导全在墨迹里。课程入口 ↗

L01
课程概览 · 在线学习导论 · 指数权重
L03
在线梯度下降 · 通用投资组合
凸集:(1−λ)x + λy ∈ K,两点连线整段都在里面 · 凸函数的四条等价刻画:弦 / 上图 / 一阶切线(只有一阶定义会被证明用到) · 一阶定义 f(y) ≥ f(x) + ∇f(x)ᵀ(y−x):站在一点只看一个梯度,就得到对全空间的下界
L04
通用投资组合 · 连续指数权重 · 极小极大分析
自适应遗憾界(p14 手写):跟踪遗憾(基准可逐期变,付路径长)与一阶/小损失界(T 换成基准自己的累计损失) · 线性化:用凸性一阶定义把凸损失换成线性损失 z̃_t,而线性目标在单纯形上的极值必在顶点取到 · 同一批梯度损失:OGD 给 √(dT),指数权重给 √(T log d)—— 差别全在几何(ℓ₂ vs 熵)
L05
集中不等式 · 多臂老虎机开篇
L06
逐次淘汰:遗憾分解、好事件、以及两个配套下界
遗憾分解:R_T = Σ Δ_i·E[T_i(T)] · 逐次淘汰算法:每轮把每条臂拉够次数,再砍掉明显差的 · 好事件 ℰ:并集界 + δ/(2|𝒳|ℓ²) 让它对所有轮都成立
L07
线性 bandit 与实验设计
L08
有限臂的线性 bandit
精读讲义
L09
淘汰算法的遗憾界 · <b>纯探索</b> · Thompson 采样
L10
线性 UCB
L11
鞅型置信界 · 混合法
精读讲义
L12
鞅型置信界 · 混合法(续)
L14
对抗式 bandit · EXP3
L16
<b>下界</b>
L17
非随机线性 bandit · 上下文 bandit 导论
精读讲义
L18
一般策略类的上下文 bandit(model-free)
L20
一般函数类的上下文 bandit(model-based)

Sutton & Barto 第二版 · 中文精读6 讲

经典教材(2020 年印次,作者免费提供全文)。只读 CS234 没系统讲过的那几章,按节写不逐页。真正的增量是第 8 章:规划与学习的统一视角、Dyna、优先遍历、决策时规划、rollout 与 MCTS。课程入口 ↗

C08
规划与学习:把有模型和无模型统一起来
模型分两种:分布模型与样本模型,而后者便宜得多 · 规划与学习共享同一个内核——都是「看未来、算备份值、拿它当更新目标」 · Dyna:真实经验兵分两路,既直接更新值函数,又去更新模型
C03
有限马尔可夫决策过程
精读原书
C04
动态规划
精读原书
C05
蒙特卡洛方法
蒙特卡洛只要经验——状态/动作/奖励的样本序列;用模型时也只需它能产生样本转移,不需要动态规划要的完整概率分布 · ⚠ 只对分幕任务定义;只有一幕完成时值估计与策略才改变 ⇒ 逐幕增量,不是逐步在线 · ⭐ 书给 MDP 的构造性描述:MDP = 多个状态,每个像一个上下文老虎机,而它们互相关联——「关联」= 回报依赖同一幕里下游的动作
C06
时序差分学习
精读原书
C13
策略梯度方法
策略自带参数 θ,选动作时不必查任何值函数——前十二章的策略「离开动作值估计就根本不存在」 · 两条硬要求:π(a|s,θ) 必须可微,而且永远不许变成确定性的(π ∈ (0,1)) · ⚠ 第二条是方法的前提,不是事后补的探索补丁——和「可微」并列写在一起

ARTI2001 机器学习本学期课程

Adelaide 的课,三个 Module。它有自己的一套总入口与材料清单,这里只做转接。

课程
ARTI2001 全部课程材料
官方 PPT · Tutorial 与 Practical · 逐页精读 · 备考包 · 复习放映厅