一次搜索与深度研究之间隔着什么：从 GHC 5507 到带引用的综合
「CMU 某教授的办公室号」一次搜索即答，「AI 综合文献能否比肩人类专家」却需要 Plan–Search–Reflect 的多轮循环。本篇沿 L10 的两问对照走进工作循环与系统内部六步视图，用 OpenScholar 的参照系算清答案正确与引用可靠两本账，再看 WebGPT 到 OpenAI / Google 两代产品如何把检索 + RL + 引用做成生意，最后借路线图把 Evaluation / Modeling / Retrieval 接回课程。
L10 开场先给了一道送分题：一位教授的办公室号，一次搜索就够。翻页之后的才是正题，综合一整个领域的科学文献，没有任何单一网页存着答案。
深度研究产品解决的就是后一种问题：多轮检索、反复权衡，最后交一份带引用的报告。L10 把这套解法完整解剖了一遍。本篇跟着逐层走。
一、分水岭：一次搜索能答的问题，和不能的
L10 p.3-5 的开场问题朴素得不像话：“What is Akari Asai’s office number at CMU?” 一次 Search，命中 CMU LTI 教师主页，答案 GHC 5507。一次检索、一个权威来源、一句抽取，事实型问题的全部需求。
翻页就是另一个世界（L10 p.6-7）：“Can AI agents synthesize scientific literature as well as human experts?” 它要求先找齐证据，再对齐口径，最后下有分寸的结论。
slides 在此并列两篇论文当参照系：Asai 等发在 Nature 2026 的 OpenScholar，与 ICML 2026 的 DR Tulu。
OpenScholar 的数字把综合的难度标得很清楚。检索池是 4500 万篇开放论文；评测基准 ScholarQABench 收 2,967 条专家问题、208 条长文答案，横跨 CS、物理、神经科学、生物医学。
战绩要分两本账看。正确率这本，OpenScholar-8B 超 GPT-4o 5%、超 PaperQA2 7%；引用这本，裸 GPT-4o 的引用幻觉（citation hallucination）高达 78–90%。把同一套检索增强（retrieval-augmented）管线接回去，得到 OpenScholar-GPT4o，正确率再涨 12%。
与专家手写答案对打的偏好盲评里，专家在 51% 与 70% 的场合更偏好 OpenScholar-8B 与 OpenScholar-GPT4o 的答案，GPT-4o 只有 32%。
一句话：答案对不对是一半，引用实不实是另一半。
一次搜索 → 权威来源 → 一句抽取（GHC 5507）。检索是答案的搬运工，错不错当场看得见。
多次搜索 → 多源证据 → 对齐口径 → 有分寸的结论 + 逐条引用。检索是论证的原料，引用幻觉 78–90% 的模型根本不敢上桌。
二、工作循环：Plan → Search → Reflect → Answer
L10 p.8-11 用同一个复杂问题演示了完整循环，最值得慢放的是 Reflect，就是它发现了口径问题。
两点值得停顿。其一，Plan 的第一个动作是拆问法：基准分数和直接与人比较是两个问题，混着搜只会捞回一堆不可比的数字。其二，Final Answer 是一句校准过的结论，不说能也不说不能，落在已测任务上有希望、更广范围与人平齐尚未证明。
深度研究最值钱的输出常常不是答案本身，而是答案的置信边界。
三、切进系统内部：think、tool、answer 的交替
工作循环是行为视角，L10 p.52-57 再往里切一层，换成系统内部视角。讲义用颜色区分来源：蓝色是模型生成的 token，灰色是用户输入与工具输出。整段演示六步走完：
<think>需要专家级比较的证据，先搜一步</think>
<tool>search("expert comparisons")</tool>
<!-- 灰色：工具输出 [1] OpenScholar [2] DR Tulu 回流上下文 -->
<answer>……结论……[1,2]</answer>看穿之后毫不神秘。深度研究在 token 层面就是 think、tool、answer 三种片段的交替。引用 [1,2] 是指向上下文里具体证据的指针，引用质量因此要当独立指标评。
L10 p.12 的路线图据此把领域切成三块：
- Evaluation：基准、rubric、引用支持
- Modeling：学搜索、推理、综合
- Retrieval：为下一步找证据
四、两代产品与一位直系祖先
产品侧把这套循环做成了两代形态。OpenAI 的 deep research 2025-02 发布，以 o3 为底座，端到端强化学习训出的浏览 Agent：HLE 26.6%（带浏览与 Python），登顶外部 GAIA 榜，5–30 分钟产出带引用的报告；2026-02 更新接入 MCP 与实时跟踪。
Google 的 Deep Research / Max 在 2026-04-21 换 Gemini 3.1 Pro 底座，主打计划先行：普通版求速度，Max 用扩展测试时计算（test-time compute）迭代推理 - 搜索 - 精炼，新增 MCP 连私有数据与原生图表。
开源侧的 DR Tulu 用 RLER 训练，超 Tongyi DR 平均 15.6%，比 OpenAI DR 高 0.7%，每查询便宜 1000 倍，是路线图里 Modeling 一块的可复制样本。
这条产品线的直系祖先 2021 年就出现了。Nakano 等人的 WebGPT 让模型在文本浏览器里答题：行为克隆（behavior cloning）起步，偏好奖励模型打磨，强制每个答案挂引用。人类评委在 56% 的场合更偏好它的答案。
「检索 + RL + 引用」的完整配方那时已经配齐，今天的深度研究是它在更强底座上的放大。
| 代际 | 形态 | 关键机制 |
|---|---|---|
| 2021 WebGPT | 文本浏览器答题 | 行为克隆 + 偏好奖励模型 + 强制引用，人类偏好 56% |
| 2025-02 OpenAI deep research | 端到端 RL 浏览 Agent | o3 底座；HLE 26.6%；5–30 分钟带引用报告 |
| 2026-04 Google DR / Max | 计划先行 | Gemini 3.1 Pro；Max 迭代「推理 - 搜索 - 精炼」 |
先做 L10 p.3-5 那道判别题：如果你能想象出那个「一次搜索就命中的权威页面」，直接去搜 —— 几分钟的报告解决的是 GHC 5507 之外的问题。只有当答案分散在多个来源、且各来源口径不一时，Plan–Search–Reflect 的循环才有得赚。
与本讲的连接
本篇下钻的是 5b Deep Research Agents 的主线，也是 5a 的成果展：OpenAI 用端到端 RL 训浏览 Agent，DR Tulu 用 RLER 学何时搜、搜什么、怎么综合，上半场讲的从任务结果里变强，在这个域直接兑现为产品能力。
路线图的 Evaluation 与 Retrieval 两块，对应伴读第十节（四轴评测与引用核查）与第十二节（AgentIR），Retrieval 一线也预告课程后面的 Search 1/2 分论。
伴读里把引用质量当独立指标，本篇补上数字：裸 GPT-4o 引用幻觉 78–90%，同一套检索增强接回去，正确率再涨 12%。
本节论文与规范
本节资料
- DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research 论文2511.19399前沿官方指定
官方指定（5b reading）。2025（ICML 2026 Oral）。RLER（演进式评分标准）训练：超 Tongyi DR 平均 15.6%、比 OpenAI DR 高 0.7%、每查询便宜 1000 倍；5% SFT 数据即可热启动 RL、演进 rubric 带来 50→58 的持续增益。评分标准逐轮加严并按区分度过滤，「标准本身在学习」，给开放式任务的 RLVR 递了可复用的钥匙。
2026-04-21。「计划先行」路线产品化：Gemini 3.1 Pro 底座，普通版求速度、Max 用扩展测试时计算迭代「推理-搜索-精炼」；新增 MCP 连接私有数据、原生图表生成。与 OpenAI 的端到端 RL 路线不同，强调先出结构化研究计划再分步执行、过程可审视可纠偏。与 OpenAI 路线对照的最新材料。
2025-02（页面更新至 2026-02：MCP 接入+实时跟踪）。o3 底座、端到端 RL 训出的浏览 Agent：HLE 26.6%（带浏览+Python）、GAIA 登顶外部榜、5–30 分钟产出带引用报告。官方声明训练涵盖浏览、推理与 Python 使用的端到端 RL，发布于 DeepSeek-R1 两周后，共同开启 DR 产品化元年。产品形态与训练方式的一手声明。
官方指定（5b reading，Nature 2026 版）。检索 45M 开放论文生成带引用的科学答问，正确性超 GPT-4o 与 PaperQA2，并发布 ScholarQABench。核心是检索-综合-自省循环：反馈智能体对照原文逐条核查引用支持度，再迭代修正答案与引文。客座讲师 Asai 代表作：文献综合型 DR 的参照系。
经典（2021）。文本浏览器里答题+行为克隆+偏好奖励模型+强制挂引用：人类评委 56% 场合更偏好其答案。175B GPT-3 在真实网页上点链接、翻搜索、引段落，比较数据训练的 RM 再用 RL 对齐。Deep Research 的直系祖先，「检索+RL+引用」四年前已具雏形，2025 年的产品公告几乎逐条对得上。
AI 生成 · 仅供参考，与课程方无关。选中正文里的任何一段也能直接问我（解释一下 / 举个例子）。
本详解以 CMU 11-768 AI Agents (Fall 2026) 课程大纲为参考框架独立撰写，AI 辅助起草、人工抽审。 涉及的官方课件、论文与课程材料版权归原所有方，讲义为站内镜像、其余外链原文出处； 观点与文字（除标注引用外）为作者原创。