先模仿还是先试错：Deep Research 训练配方逐段对账

同一份 SFT 数据，只把底座从 Qwen3 换成 AgentFounder，BrowseComp-en 就从 28.6 涨到 39.9。L10 p.71-73 这组对照把变量压到一个：训练前学没学过 agent 行为。

「先模仿还是先试错」这笔账能算清，是因为 Tongyi DeepResearch 技术报告把配方写到了可对账的粒度：mid-training、SFT、RL 三段接力，每段请的老师不同，买到的东西也不同。

本篇沿 L10 p.58-98 对账，算完你就知道复刻 Deep Research 时该抄哪段、能省哪段。

一、三段配方：三位不同的老师

L10 p.58-60 把 Tongyi 配方画成一列三节车厢的火车：

三段的差别全在老师是谁。mid-training 的老师是混进通用语料的 agent 轨迹，照样用 next-token prediction 继续预训练；SFT 的老师是教师模型跑出的成功示范；RL 的老师是当前策略自己的 rollout，奖励只认结果。

第一节车厢值不值，L10 p.71-73 有一次干净的控制实验。AgentFounder（Scaling Agents via Continual Pre-training，ICLR 2026）把 agent 轨迹与通用预训练数据混合，做持续预训练。

然后拿同一份 SFT 数据、只换底座：Qwen3 base + SFT，换成 AgentFounder base + SFT。BrowseComp-en 从 28.6 涨到 39.9，BrowseComp-zh 从 35.6 到 43.3，GAIA 从 71.8 到 72.8。

同一门示范课，在 agent 轨迹上预训练过的底座学得好得多。mid-training 买到的是埋进权重的行为先验。

二、SFT 段的料：图谱造题，教师跑轨迹，三道过滤

RL 要可验证的答案，SFT 要成功的示范，两样都靠数据合成，L10 p.61-67 讲的 WebSailor-V2 方法就是样板。做法是把可靠事实源抽成知识图谱的边，本例的事实源是 CMU Archives 与 1978 年诺贝尔官网。

在图上采样一个连通子图，把目标名字藏掉，就能出题：「哪位 CMU 研究者与未来的经济学诺奖得主合著了 Human Problem Solving、并在诺奖前三年与该同事共享图灵奖？」答案是 Allen Newell。

这类题的妙处是易验证、难猜到。答案是一个短字符串，判分零成本；但要把 faculty、coauthored、received 这些边都走通，靠蒙到不了。

出题时图谱已经知道答案。所以 gold 是免费的。

SFT 管线在 L10 p.68-70，出自 WebDancer/Tongyi：问题 + 已知答案交给教师模型跑轨迹，跑完过三道过滤。答案正确、格式有效、轨迹连贯，全过才收进 SFT 数据。

三、RL 段：精确匹配怎么变成参数更新

有了 gold 短答案，RLVR（Reinforcement Learning with Verifiable Rewards，可验证奖励强化学习）就能开跑，L10 p.74-76 引的是 Search-R1（COLM 2025）。

策略一边搜索一边推理，采样出多条轨迹，每条按最终答案的精确匹配（Exact Match，EM）结算奖励 $r_i = \mathrm{EM}(a_i, a_{\text{gold}})$。

同一道 Newell 题跑三条 rollout：答 Herbert Simon，得 0；答 Allen Newell，得 1；再答一次 Allen Newell，还是 1。过程、引用、措辞一概不看，只看最后那个字符串。

Search-R1 证明，这么朴素的信号足以让策略学会何时搜、搜什么。

参数更新用 GRPO 三件套，L10 p.77-79：

• 组相对奖励 $\hat{A}$：同题一组互为基线；
• clipped update：$\mathrm{clip}(\rho,\,1-\varepsilon,\,1+\varepsilon)$ 限制单步步长；
• KL 惩罚：$\beta\,D_{KL}$ 把策略贴住参考模型。

推导见同讲《GRPO 家谱》，此处不展开。

工程上还有异步 rollout，细节在 L10 p.80-82。同一批各条轨迹长短不一，快的早交卷、慢的还在翻网页；完成即打分，攒齐一个已完成的 batch，加奖励再统一更新。省算力靠的是缓存工具结果、健壮的 API 处理和后台任务策划。

账面效果在 L10 p.83：reward 从 0.45 单调升到 0.65（约 500 步），entropy loss 相对稳定。策略在变强，没有塌进某个退化解。

奖励还能更结构化：ToolRL（2025）把工具调用的奖励拆成格式与结果两维，格式维按参数逐项判定，结果维看调用是否奏效，较 SFT +15%。短答案 EM 是奖励的极简形态，拆维是它的下一步。

四、开放式报告：让评分标准跟策略一起长

BrowseComp 型任务有 gold 短答案；Deep Research 的交付物却是开放式报告，没有唯一正确答案，奖励必须更富。L10 p.84-85 给了对应的谱：可验证短答案只判答案对错，开放式综合要评四个维度，覆盖度、相关性、事实性、被支持的论断。

富奖励的工程化是 RLER，L10 p.86-93 的载体是 DR Tulu：采样报告 A/B/C，按一组演进标准 $c_k$ 逐项评判，加权合成奖励

$r_i = \frac{\sum_k w_k \, \mathrm{Judge}(c_k,\, y_i)}{\sum_k w_k}$

拿到加权分再更新策略。关键在演进：rubric（评分细则）不再人工预写死，而是从策略响应与检索证据中提炼、随训练共同演进，尺子本身也是被学习的对象。

对照实验摆了四条线，L10 p.96-98：No RL、Random rewards、Initial rubrics only、Evolving rubrics。

演进那条在 HealthBench、ScholarQABench v2、DeepResearch Bench 三个基准的平均上爬得最远，具体步数与分数，同讲《把奖励做硬就安全吗》里有全量对账。

Random rewards 这条线值得单独盯：奖励有时只是选择压力，这个质疑在这里有了正面对照。

开源侧的位置也变了，L10 p.94：性能 - 成本 Pareto 图上，DR Tulu-8B 在 4 个长文基准的平均上站上 Pareto 前沿，开源 DR 就此与前沿系统同台竞争。

所以，先模仿还是先试错的答案是接力而非站队：SFT 段买的，是 RL 段的起跑线。

配方内部还有一笔意外账，L10 p.95：SFT 是 RL 的热启动。No SFT、Undertrained SFT、Our SFT、On Policy SFT 四条曲线对比（论文附录 Fig 5 的 5%/10%/100% 消融），5% 的 SFT 数据就明显有帮助，全量 SFT 混合最强。

与本讲的连接

伴读下半场给了 Deep Research 的形态（研究计划 + 多步检索 + 综合引用）与产品两条路线，本篇补的是训练这半边：三段接力、图谱造题、从 EM 到演进 rubric 的奖励谱。

出处先摊开：p.58-83 的滑轨主线出自 m5-tongyi-dr（造题方法借 WebSailor-V2、底座对照借 AgentFounder、RLVR 借 Search-R1），p.84-98 的 RLER 一段出自 m5-drtulu。

其余五张资料卡的去向：

• m5-drtulu：RLER 与热启动消融的全文；
• m5-search-r1：何时搜也能 RL 出来，打通 5a 与 5b 的那座桥；
• m5-toolrl：奖励拆维的样板；
• m5-r1 与 m5-kimi-k2：配方两端的坐标。

推导接同讲《GRPO 家谱》，统一梯度视角接《SFT 与 RL 之间没有鸿沟》，奖励偏置的审视接《把奖励做硬就安全吗》，审的同是 p.84-98 这一段。