这一讲给了你一条和现方案完全不同的技术路线，而且它的假设比 FQE 干净得多——值得认真评估一次，而不是因为「我们已经选了 FQE」就跳过。

关键在 p40–p41 那一行：no dynamics model required!轨迹概率拆成「初始分布 × 转移 × 策略」的连乘，取 log 变连加，前两项不含 θ，求导直接归零。转移模型不是被近似掉的，是被精确地消掉的。于是你一直纠结的「工作流的转移模型准不准」在这条路上根本不用问。

把两条路的假设摆在一起比，差别相当明显。
FQE：要自举（吃马尔可夫假设）、是 off-policy、配函数逼近——致命三件套三条腿全占（L05 p38）。换来的是能用现成日志，样本效率高。
REINFORCE 式的策略梯度：不要模型、不自举、假设只有「策略可微」这一条，而那是关于你自己代码的要求，不是关于世界的假设。换来的代价是 on-policy——采一批用一次就扔。

而 on-policy 这个代价，对你恰好比对别人轻。L07 p33 已经论证过同一件事：你的「重新采样」是一次 API 调用，不是一次人类标注。机器人领域因为 on-policy 太贵而不得不想办法复用数据，你没有这个约束。这是你该主动利用、而不是跟着别人一起回避的一个领域差异。

这一讲还顺手解决了另外两件事。
① 你的随机化决策节点（§4c）有了第二个、更强的理由。p10–p12 说：状态混叠时，随机策略严格优于确定性策略。而如果你的策略只看节点编号，那么难题和简单题在同一节点上就是混叠的——最优保真度不同，特征却相同。于是随机化不只是采数据的代价，它本身就可能是更优的策略形态。但课件也明说了治本的办法是修表示（把 query 特征放进状态），随机化只是补救。
② p53–p56 的基线给了你一条可以照搬的降方差判据，而你手上恰好有两个现成的基线材料：可准确预测的成本，和 query 自身的难度（详见 p55 的科研格）。

CS234 第八讲 · 策略梯度 I：不再绕值函数，直接对策略求导