十个条目,四个梯队。bandit 是枢纽:加上状态就是 RL,加上多个玩家就是博弈论 —— 所以顺序是先 bandit,另两条从它长出来。每条都绑着一个能拿去和导师讨论的产出。
纯探索 bandit 是当前论文最硬的缺口,也是 cost-efficiency bound 的承重墙。
Jamieson 是 Hyperband 的作者之一,把 successive halving 用到超参搜索,和你的 multi-fidelity 框架同源。⚠ 讲义是手写稿:排版的只有定理陈述与算法框,推导全在墨迹里,所以得逐页看图才能写讲解。16 份共 222 页,并成 157 个互不相同的内容页 —— 讲义是累积快照,L08 / L11 / L17 三讲整讲都在别处,一页都不用做(L08 ⊆ L07∪L09、L11 ⊆ L12、L17 ⊆ L18,四讲都已建)。已建 8 讲,各 27/0 过闸:L05 集中不等式 · L06 逐次淘汰 · L07 线性 bandit 与实验设计 · L09 纯探索与遗憾界 · L12 鞅型置信界 · L16 下界 · L18 上下文 bandit(model-free,含离线评估与悲观原则) · L20 上下文 bandit(model-based,含 SquareCB)。还剩 5 讲、82 页要读,建议顺序:L14 EXP3(5 页)→ L10 线性 UCB(5 页)→ L01/L03/L04 在线学习那条链(116 页里只有 72 页不同)。
填在 UCB1 与 Kaufmann–Koolen 之间的理论空白上:你的搜索那一侧要讲清楚它优化的到底是哪个量。
CS234 L16 已经讲了 UCT,还点出「乐观在规划里是错的」—— 那正是从 cumulative regret 转向 simple regret 的直觉。这里把它形式化。
你的 combinatorial nogood 在概念上是这条线的后代 —— related work 的定位和术语都要从这里借。
⚠ Dechter《Constraint Processing》不是免费书。先查学校图书馆电子版;拿不到就改用 nogood recording 与 conflict-directed backjumping 的公开原始文献。
把已经学过的 RL 补完整:CS234 精读 15 讲已全部做完;书上真正的增量是规划那一章,也已建成,剩下五章属于复习。
CS234 的 15 部放映厅与速览早就做完;精读 L01–L13、L15、L16 共 15 讲已于 2026-10-05 全部过闸(断言 405/0 = 15×27)。书只做第 3–6、8、13 章,其中 3–6、13 章 CS234 已覆盖,真正的增量是第 8 章(规划与学习)—— 2026-10-06 建成:36 页 · 946 词/页 · 科研格 15 条 · 断言 27/0。余下五章建议顺序:13 策略梯度 → 5 蒙特卡洛 → 6 时序差分 → 3 有限 MDP → 4 动态规划。
补上 CS234 2019 版没有的三块:PPO、RLHF/DPO、LLM 推理 —— 审稿人默认你懂这些。
⚠ 2025 版课件已从官网下线(官网现在是 2026 版),19 份从 Wayback 取并已落盘。录像 19 个都在 YouTube。承重讲:L05 PPO、L07 离线 RL、L09 RLHF/DPO、L10 LLM 推理、L14 探索。L05 精读 + PPO 放映厅样板已交付(精读 607 词/页 · 29 题 · 断言 27/0;片子 5 集 32 镜)—— 等你确认格式之后才铺开其余 18 讲。
和导师在同一套语言里讨论问题 —— 郭老师做算法博弈论,师承 Conitzer。
快速过一遍,不追证书。⚠ Coursera 课件可能要登录;拿不到就改用 Shoham & Leyton-Brown 的对应章(官方免费 PDF)。
博弈论部分对你最重要的一门:直接复用梯队 1 的 online learning 与 regret 工具,而 CFR 正是 Jiyao 在做的方向。
OCW 有讲义、习题与习题答案,没有录像(第 12、13 讲是客座,OCW 无材料)。第 10 讲专讲 CFR:每个决策点放一个局部 regret minimizer,再组合成整棵树的。
郭老师的本行。对当前论文不承重,价值在于和导师对话以及 PhD 阶段的广度。
20 讲讲义 + 录像,配套书是《Twenty Lectures on Algorithmic Game Theory》。⚠ timroughgarden.org 对非浏览器 UA 返回 406,抓取时要带正常 User-Agent;theory.stanford.edu/~tim/f13/ 是同一份镜像。
投 ACL/NAACL/AAAI 的领域常识:审稿人默认你懂 LLM agent 的评估与推理。
原计划是「当文献扫描用,不要当课来跟」;用户 2026-09-29 决定三期全做。最该先看的几讲:reasoning、inference-time search/planning、agent evaluation。
领域常识的另一半:inference 与 alignment 的工程细节。
⚠ 课件多是可执行的 Python(lecture_*.py 生成 trace),只有一部分在 nonexecutable/ 下是 PDF —— 左栏放什么,等做第一讲时实地看过再定。作业工作量很大,不做。