向教师学习：课程垫路，蒸馏跟着学生的脚印走

任务难到什么份上？学生十条轨迹九条挂零，组比较都没有信息，RL 采不动了。L11 收官段 p.48-53 换思路：前四路都是学生在自己的 rollout 里自己学，这一段请会做的老师带。

老师出手两条路。课程学习把任务的坡度垫平，蒸馏把教师的分布搬进学生。蒸馏自己还有一条演化线，固定轨迹 → on-policy → 自蒸馏，每一步都在回答同一个问题：在谁的历史上学。

一、课程与热启动：先把可学会区垫出来

最朴素的一路，L11 p.49。纯 RL 从零起步，策略在难任务上几乎从不成功，奖励长年全零，这就是第四节无信息组（L11 p.37）的死法。解法是把坡度垫平，三段推进：

1. Demonstrations 热启动（warm start）：先从教师的成功解里学，模仿学习把策略拉进偶尔能成功的区间；
2. 在可学会任务上跑 RL：任务选到模型 “sometimes succeeds” 的程度，组内比较才有差异、梯度才有分辨率；
3. 再上更难任务：能力涨了就加难度，这就是课程（curriculum）。

p.49 底行还写了两个防坑细节，都直连本讲前几节：

• 旧任务留在混合数据里，防遗忘。课程管的是数据的配比，旧任务不撤走；
• 用固定评测集衡量真进步。课程在变，尺子不能变，否则分数涨了也说不清，是学会了新任务，还是换了考卷。第四节的独立验证三栏，是它的完整版。

往回接一句：全败三诊断（L11 p.38）的第二问「当前能力 —— 换更强模型 demo 能否成功」，课程学习就是这道问的工程化答案。demo 能成的任务区间，就是课程该垫的那段坡。

二、固定轨迹蒸馏：教师只在自己走过的路上留脚印

第二条路，L11 p.50：把教师会做这件事本身变成监督信号。蒸馏的定义：在固定的一组教师轨迹上，训练学生匹配教师的动作概率。

图景是这样。教师先跑一条轨迹存档 h₀→a₀→h₁→a₁→h₂→a₂→h₃，在存档的 h₃ 上给下一动作的分布，a₃ 占 80%、另一个动作占 20%，记作 q (・|h₃)。学生的目标，就是把 πθ(・|h₃) 对到这份分布上。

分类模型的版本即 Hinton et al. 2015 §2 的经典配方：软标签带温度 T，暗知识（类间相似度）比 one-hot 多、梯度方差更小。搬到语言模型（Agarwal et al. 2024 §3），下一动作分布换成下一 token 分布，骨架不变。

病灶也在定义里。p.50 原话：学生自己犯错时，会走进这份训练集里没有的历史。

固定轨迹蒸馏买到的是便宜且稠密的监督，付的是训练分布 ≠ 使用分布这笔老账。要还账，就得让训练数据跟着学生的脚印走。

三、GKD：让学生自己 rollout，教师跟着脚印给目标

GKD 把定义换了方向，L11 p.51：让学生生成训练历史，再让教师在那些历史上给目标。教师不再提供轨迹，只提供「到这段历史上，我会怎么走」。学生 rollout 到 h₃，教师看一眼给 80%/20%，学生照着对齐。

on-policy 三个字说的就是这个：历史来自学生自己的 rollout，训练分布永远是学生当前的分布，脚印跟着脚走。

GKD（Agarwal et al.，ICLR 2024）把这条思路拆成两个正交旋钮，下面表格的两行就是它们：

两个旋钮独立调。固定轨迹蒸馏只是 (教师数据，前向 KL) 那个角落的特例，工程上常取中间态：完全 on-policy 方差大，混入固定数据稳住训练。

散度为何常选反向 KL？看目标函数的形状最清楚。

四、目标长什么样：反向 KL 的 0.223

p.52 给了一个两动作的数值例：同一历史 h₃ 上，学生 πθ 给 (0.5, 0.5)，教师 q 给 (0.8, 0.2)。反向 KL 取自然对数，按学生的概率加权：

$D_{KL}(\pi_\theta\,\|\,q)=0.5\log\frac{0.5}{0.8}+0.5\log\frac{0.5}{0.2}\approx 0.223$

两项一负一正。学生在教师低概率动作上放的质量（0.5 对 0.2，log 2.5≈0.92），罚得比学生在教师高概率动作上的欠缺（log 0.625≈−0.47）重。反向 KL 对「学生敢冒、教师不让」的方向更敏感，是 mode-seeking 的形状。

对整个分布的目标，是在学生的历史分布 d^μ 上平均（p.52）：

$\mathcal{L}_{OPD}=\mathbb{E}_{h\sim d^\mu}\big[D_{KL}(\pi_\theta(\cdot|h)\,\|\,q(\cdot|h))\big]$

这笔以 dense 换延迟的账，2025 年被 Thinking Machines 的工程复盘做成了系统实证：反向 KL 版 on-policy 蒸馏每步拿到分布级监督、免 reward 模型，样本效率高出 RL 一截，小模型蒸馏后甚至反超大模型 RL。GKD 的学术配方，落成了工业读法。

Qwen3 Technical Report 的强到弱蒸馏是同一骨架的又一变体：教师给目标，学生不必同架构同规模，会做的可以往小了传。

五、OPSD：冻结自己当教师

演化线的最后一站去掉了一个看似不可少的依赖：外部强教师，L11 p.53。OPSD（Zhao et al. 2026）的做法分两半：

• 教师是谁：冻结的初始模型，RL 还没动过的那个自己。不需要外部强模型，教师成本为零；
• 教师看什么：学生的历史，加上一份已验证的解答。学生输入是任务与历史 h₃，教师输入是同样的内容再附一个已验证解。拿着答案看学生的处境，给出的下一动作分布自然更可靠，也防住自训（self-training）的漂移。

热启动的 demonstrations 是别人的成功解，OPSD 的教师输入是自己的已验证解。中间那几步演化，固定轨迹、on-policy、反向 KL，决定的是监督在哪个分布上、以什么形状发下来。

与本讲的连接

本篇下钻 6a 收官段 L11 p.48-53：p.49 课程与热启动，p.50 固定轨迹蒸馏与暴露偏差病灶，p.51 GKD 的 on-policy 定义，p.52 反向 KL 目标与 0.223 数值例，p.53 OPSD 自蒸馏。

五张资料卡各就各位：

• m6-hinton-distill，软标签蒸馏的奠基原典，§2 就是 p.50 的出处；
• m6-gkd，学术版，两个正交旋钮与散度选择的全部推导都在里面；
• m6-opd-blog，工程版，反向 KL 配方的系统实证；
• m6-opsd，2026 前沿，自蒸馏与自我提升合流；
• m6-qwen3，强到弱蒸馏的生产案例。

跨讲三处回接：

• 本篇第二节的暴露偏差（固定轨迹蒸馏病灶），第 5 讲从模仿学习侧推过，本篇在蒸馏侧复发；GKD 让学生自己 rollout，第 5 讲 RL 在真实分布上算损失，是同一句话；
• 第一问的组比较依赖偶尔能成功，课程学习就是把任务垫进这个区间的手艺；
• 第四问的固定评测集，在这里以课程变了、尺子不能变复现。

看任何蒸馏配方，先问三行：数据在谁的历史上采、散度用哪个方向、教师在场怎么算。教师这一头可以一路退：OPSD 冻结自己当教师，成本为零。学生那一头，Thinking Machines 的复盘给出对照，小模型蒸馏后甚至反超大模型 RL。