从抄好动作到拿结果：SFT 与 RL 之间没有鸿沟

一道猜数题，两条轨迹都成功了，动作序列却完全不同。第 5 讲就从这道 Number Search 例题讲起，看 SFT 的裂缝在哪、有几道。

上一讲刚用监督微调 SFT 把示范轨迹写进权重，这一讲来数它的裂缝。从裂缝到强化学习 RL 之间，其实铺着一条连续谱。看懂这条谱，你才知道后面的 GRPO 到底在哪一步替你省了钱。

一、一道例题：四条轨迹，两条活路

L9 的贯穿例子叫 Number Search（L9 p.2）：1 到 16 之间藏一个整数，本例藏的是 11，agent 有 4 次猜测。猜错时环境只回答 higher 或 lower，猜中才得 reward 1。四条样例轨迹：

• τ1：猜 8 → higher → 猜 12 → lower → 猜 10 → higher → 猜 11，R=1
• τ2：猜 4 → higher → 猜 8 → higher → 猜 12 → lower → 猜 11，R=1
• τ3：猜 16 → lower → 猜 8 → higher → 猜 9 → higher → 猜 10，超时，R=0
• τ4：猜 1 → higher → 猜 2 → higher → 猜 3 → higher → 猜 4，超时，R=0

τ1 与 τ2 的动作序列完全不同，却同样成功。完成任务有多条路径。SFT 的目标（L9 p.3）是把示范里的每一步都学像：

$\mathcal{L}_{\text{SFT}} = -\sum_{t} \log \pi_\theta(a^*_t \mid h_{1:t})$

最大化示范中全部目标动作的概率。示范可以来自人、更强的模型，或本 agent 自己的成功轨迹。来源不限，形式只有一种：照抄。

第三种来源，自己跑出来的成功轨迹，是后文 ReST 的伏笔。数据可以自己挣，怎么判定哪条算成功，还需要一个裁判。裁判一旦换成奖励，整条谱系就开始移动。

第一道裂缝是任务错配（L9 p.4）。SFT 最大化的是示范动作的概率，我们想要的却是完成任务的概率。两者不是一回事。

有些动作明显更差：环境对 12 说了 lower 之后，绝不该再猜 13。SFT 对坏动作没有概念，它只推高示范里出现过的动作。至于这些动作是不是通往 reward，公式一概不问。

二、三个错配，RL 三步逐一拆掉

把裂缝数全，一共三道（L9 p.4-6）。

• ①任务错配。如上，优化的是模仿不是完成。
• ②数据错配。τ3、τ4 这样的失败轨迹是真实试错，含着什么不该做的信息，SFT 却只能扔掉。
• ③暴露偏差（exposure bias）。训练时模型从未见过自己的错误，生成时一旦犯错，就落到了训练分布之外。

RL 的定义（L9 p.7，slides 署名 Adapted from Sean Welleck）只要三步：生成动作 / 轨迹 → 评估 reward → 调参最大化期望 reward。

三步正好对三道裂缝。训练目标直接是期望奖励，任务错配消失；好轨迹推高、差轨迹压低，全部经验都进梯度，失败数据不再白扔。

训练时的轨迹由当前策略自己生成，训练分布就是自己的错误分布。犯错之后怎么恢复，第一次成了可以学习的东西。

三、中间形态：ReST—— 先采样、再过滤，然后照旧 SFT

从 SFT 跳到在线 RL，中间还有一级台阶。ReST（Reinforced Self-Training，Gulcehre et al. 2023，Google DeepMind）把循环拆成三拍：Grow，从当前策略采样轨迹并算奖励；Improve，按奖励过滤、增扩数据集、训练；然后 Repeat。

妙处在于 L_ReST（L9 p.16）并没有发明新 loss，它就是高奖励轨迹上的标准 SFT loss：保留 R=1 的 τ1/τ2、丢弃 τ3/τ4，然后照常训练。

公式没变，变的是数据与权重从哪来：示范者的 1/0，换成了自己采样、奖励裁决的 1/0。这条便宜路线在机器翻译上以更少的算力 / 数据超越了在线 RL。

ReST-EM（Beyond Human Data，Singh et al. 2023）把它推到极致：期望最大化 EM 式的自训练，二值奖励过滤加迭代 SFT。它随模型规模扩大持续涨点，在 MATH/APS 上超过只用人类数据训练的版本。

四、统一视角：一切训练都是轨迹重加权

L9 p.44 把全谱系收进一个梯度形状：

$\nabla_\theta J = \sum_{t} w_t \, \nabla_\theta \log \pi_\theta(a_t \mid h_t)$

SFT、ReST、在线 RL 全都长这样，区别只在权重 $w_t$ 从哪来：

从左到右，$w$ 的来源越来越以我为主：先是别人给的示范，再是自己挣来的保留集，然后是奖励本身，最后是同一提示下一组回答的组内比较。那是下一站的正题。

那 SFT 是不是就该扔了？对照组是 InstructGPT（Ouyang et al. 2022，OpenAI）：SFT→RM→PPO 三部曲走完，1.3B 模型的输出在人类评估里压过了 175B 的 GPT-3。这组数字第 4 讲《改行为改在哪》篇讲过全版，这里只取结论：SFT 不是没用。

对齐偏好与完成任务是两类目标，SFT 在两类上的错配程度不同。对话偏好没有唯一终态，示范本身信息量就很高；Number Search 这类任务只有终态算数、路径有多条，才把模仿的天花板暴露得最彻底。

SFT 与 RL 之间没有鸿沟，只有一条轨迹重加权谱，区别只在权重 w 从哪来：示范 1/0 → 奖励 R (τ) → 组相对优势。

与本讲的连接

伴读开篇那道分水岭说得很直白：SFT 照范例抄，RL 只看交付打绩效。本篇给这句比喻补上了数学形态与中间形态；上一讲的《loss mask 的细节》讲 SFT 内部的自由度，本篇讲这一步本身的天花板。

四张资料卡各就各位。m5-rest、m5-rest-em 是谱系中间两级，先 2023 年 8 月的 ReST、再 12 月的 ReST-EM，最新优先；m5-instructgpt 对应 SFT 不是没用那个结论。

出处另记一笔：p.7 的 RL 定义改写自 Sean Welleck 的 RL Fundamentals，m5-rlhf-book（Nathan Lambert）则是 RL 记号到 PPO/GRPO 的系统补课地图。本讲后段 GRPO 的组相对优势，是这条谱上走得最右的一站。

自测一道：拿到任何一条训练管线，先问这里的权重 w 是谁定的。SFT、ReST、PPO、GRPO，全是这条重加权谱上的不同取法。