科研学习清单

十个条目,四个梯队。bandit 是枢纽:加上状态就是 RL,加上多个玩家就是博弈论 —— 所以顺序是先 bandit,另两条从它长出来。每条都绑着一个能拿去和导师讨论的产出。

1CSE 541 Interactive Learning + Lattimore & Szepesvári

纯探索 bandit 是当前论文最硬的缺口,也是 cost-efficiency bound 的承重墙。

梯队 1 · 直接服务论文 · 2026-10 至 2026-11进行中

Jamieson 是 Hyperband 的作者之一,把 successive halving 用到超参搜索,和你的 multi-fidelity 框架同源。⚠ 讲义是手写稿:排版的只有定理陈述与算法框,推导全在墨迹里,所以得逐页看图才能写讲解。16 份共 222 页,并成 157 个互不相同的内容页 —— 讲义是累积快照,L08 / L11 / L17 三讲整讲都在别处,一页都不用做(L08 ⊆ L07∪L09、L11 ⊆ L12、L17 ⊆ L18,四讲都已建)。已建 8 讲,各 27/0 过闸:L05 集中不等式 · L06 逐次淘汰 · L07 线性 bandit 与实验设计 · L09 纯探索与遗憾界 · L12 鞅型置信界 · L16 下界 · L18 上下文 bandit(model-free,含离线评估与悲观原则) · L20 上下文 bandit(model-based,含 SquareCB)。还剩 5 讲、82 页要读,建议顺序:L14 EXP3(5 页)→ L10 线性 UCB(5 页)→ L01/L03/L04 在线学习那条链(116 页里只有 72 页不同)。

验收标准

2MCTS 理论:从 bandit 到树搜索

填在 UCB1 与 Kaufmann–Koolen 之间的理论空白上:你的搜索那一侧要讲清楚它优化的到底是哪个量。

梯队 1 · 直接服务论文 · 2026-12待开工

CS234 L16 已经讲了 UCT,还点出「乐观在规划里是错的」—— 那正是从 cumulative regret 转向 simple regret 的直觉。这里把它形式化。

验收标准

3约束推理与剪枝:CSP、nogood、dominance

你的 combinatorial nogood 在概念上是这条线的后代 —— related work 的定位和术语都要从这里借。

梯队 1 · 直接服务论文 · 2026-12待开工

⚠ Dechter《Constraint Processing》不是免费书。先查学校图书馆电子版;拿不到就改用 nogood recording 与 conflict-directed backjumping 的公开原始文献。

验收标准

4CS234 收尾 + Sutton & Barto

把已经学过的 RL 补完整:CS234 精读 15 讲已全部做完;书上真正的增量是规划那一章,也已建成,剩下五章属于复习。

梯队 2 · 系统补 RL · 2026-12 至 2027-02进行中

CS234 的 15 部放映厅与速览早就做完;精读 L01–L13、L15、L16 共 15 讲已于 2026-10-05 全部过闸(断言 405/0 = 15×27)。书只做第 3–6、8、13 章,其中 3–6、13 章 CS234 已覆盖,真正的增量是第 8 章(规划与学习)—— 2026-10-06 建成:36 页 · 946 词/页 · 科研格 15 条 · 断言 27/0。余下五章建议顺序:13 策略梯度 → 5 蒙特卡洛 → 6 时序差分 → 3 有限 MDP → 4 动态规划。

验收标准

5CS224R Deep RL(Spring 2025)

补上 CS234 2019 版没有的三块:PPO、RLHF/DPO、LLM 推理 —— 审稿人默认你懂这些。

梯队 2 · 系统补 RL · 2026-10 起,随基建同步进行中

⚠ 2025 版课件已从官网下线(官网现在是 2026 版),19 份从 Wayback 取并已落盘。录像 19 个都在 YouTube。承重讲:L05 PPO、L07 离线 RL、L09 RLHF/DPO、L10 LLM 推理、L14 探索。L05 精读 + PPO 放映厅样板已交付(精读 607 词/页 · 29 题 · 断言 27/0;片子 5 集 32 镜)—— 等你确认格式之后才铺开其余 18 讲。

验收标准

6博弈论入门(Coursera / Shoham & Leyton-Brown)

和导师在同一套语言里讨论问题 —— 郭老师做算法博弈论,师承 Conitzer。

梯队 3 · 博弈论 · 2027 第一学期待开工

快速过一遍,不追证书。⚠ Coursera 课件可能要登录;拿不到就改用 Shoham & Leyton-Brown 的对应章(官方免费 PDF)。

验收标准

7MIT 6.S890 Topics in Multiagent Learning(Fall 2024)

博弈论部分对你最重要的一门:直接复用梯队 1 的 online learning 与 regret 工具,而 CFR 正是 Jiyao 在做的方向。

梯队 3 · 博弈论 · 2027 第一学期待开工

OCW 有讲义、习题与习题答案,没有录像(第 12、13 讲是客座,OCW 无材料)。第 10 讲专讲 CFR:每个决策点放一个局部 regret minimizer,再组合成整棵树的。

验收标准

8Stanford CS364A 算法博弈论(Roughgarden, Fall 2013)

郭老师的本行。对当前论文不承重,价值在于和导师对话以及 PhD 阶段的广度。

梯队 3 · 博弈论 · 2027 第一学期待开工

20 讲讲义 + 录像,配套书是《Twenty Lectures on Algorithmic Game Theory》。⚠ timroughgarden.org 对非浏览器 UA 返回 406,抓取时要带正常 User-Agent;theory.stanford.edu/~tim/f13/ 是同一份镜像。

验收标准

9Berkeley LLM Agents MOOC(F24 / S25 / F25)

投 ACL/NAACL/AAAI 的领域常识:审稿人默认你懂 LLM agent 的评估与推理。

梯队 4 · 领域常识 · 持续进行,每周 1–2 讲待开工

原计划是「当文献扫描用,不要当课来跟」;用户 2026-09-29 决定三期全做。最该先看的几讲:reasoning、inference-time search/planning、agent evaluation。

验收标准

10Stanford CS336 Language Modeling from Scratch(Spring 2025)

领域常识的另一半:inference 与 alignment 的工程细节。

梯队 4 · 领域常识 · 持续进行,殿后待开工

⚠ 课件多是可执行的 Python(lecture_*.py 生成 trace),只有一部分在 nonexecutable/ 下是 PDF —— 左栏放什么,等做第一讲时实地看过再定。作业工作量很大,不做。

验收标准