跳到主要内容
SecondHome

让检索器看见推理:从 query-only 到 AgentIR

15 分钟前沿5bL10 p.100-124 ↗录像 ↗支撑材料 4 篇

深度研究 agent 的检索循环里藏着一个断层:agent 花几百 token 推理出「这一步到底缺什么」,检索器却只看到最新一条 query。本篇沿 slides L10 p.100-124 走:工具谱系——本地检索(BM25 词面 / 嵌入学习相似度)与黑盒 API(web_search / browse),另有 Python 执行与学术搜索(p.100);嵌入检索标配——双编码器 DPR(EMNLP 2020),离线建向量索引、在线 s(q,d)=E_q(q)^T E_d(d) 取 top-k(p.101-102),对比训练拉近 d+ 推远 d−(p.103-104);断层(p.105)与 AgentIR 双修——输入改成当前推理 τ_t + query q_t,训练学「哪些文档对该推理步有帮助」,难点在中间步需要局部标签(p.106-107);DR-Synth 用 agent 自生的信息需求合成中间步标签(p.108-111),更少搜索找到更多证据(p.112-114);2×2 消融四列 agent 从 48.7/47.6/50.5/50.2 到 66.3/67.0/64.7/68.1(p.115-118),历史输入消融证明「当前步推理是最强信号」、无关历史是噪声(p.119-123);收在总结句「检索=给检索器 agent 的信息需求,并为之训练」(p.124 第 04 条)。

检索是深度研究 agent 循环里最常被忽视的部件。大家盯着模型会不会规划、会不会综合,L10 反过来专门讲检索器:它在整个循环里只露一面,收一条 query、吐 top-k 文档。

agent 在此之前想清楚的种种,一条也传不过去。

AgentIR(COLM 2026)把这件事当成输入与训练的双修课题:四列 agent 消融从 48.7 抬到 66.3。它还顺带纠正一个直觉。给检索器塞历史,塞多了反而掉分。

一、先看清工具:词面、嵌入与黑盒 API

谱系先摆正,L10 p.100。深度研究 agent 的检索工具分两副面孔。

本地检索 local retrieval 自己建索引、自己排序:词面匹配的 BM25 数词频,嵌入模型 embedding model 学习语义相似度。

黑盒 API 则只能喂一条 query 进去。web_search、browse 属于此类,对端怎么排序你管不着。

工具箱里还有检索之外的常客:Python 执行是 Tongyi 的配置,学术搜索则 Tongyi、DR Tulu 都带。

本篇聚焦本地检索这条线,它是唯一能为 agent 定制的一条。

本地检索的标配形制由 DPR(Dense Passage Retrieval,稠密段落检索,EMNLP 2020;L10 p.101-102)定下:双编码器 bi-encoder 架构,离线阶段用文档编码器把全库文档编成向量、建索引;在线阶段把 query 编码后与文档向量做内积打分,取 top-k:

s(q,d)=Eq(q)⊤Ed(d)s(q,d)=E_q(q)^{\top}E_d(d)

两段编码互不见面,换来文档向量可以离线预计算。这是它快的原因。训练用对比学习(contrastive learning,L10 p.103-104):给定 query,拉近相关正例 d+d^+、推远负例 negative d−d^-:

L=−log⁡exp⁡s(q,d+)exp⁡s(q,d+)+∑d−exp⁡s(q,d−)\mathcal{L}=-\log\frac{\exp s(q,d^{+})}{\exp s(q,d^{+})+\sum_{d^{-}}\exp s(q,d^{-})}

这套配方有一个隐含假设:query 自带全部检索意图。单轮问答大体成立,多步研究任务不成立。下一节就从这个断层讲起。

二、断层与补法:输入要改,训练更要改

断层在 L10 p.105 说得很直白:agent 的推理不传给检索器,检索器只看到最新的 query qtq_t。

多步任务里 qtq_t 常是残缺的,这一步搜什么,取决于前几步已经查到什么。这些信息都在推理轨迹 τt\tau_t 里,检索器一无所知。

AgentIR 的补法是两处一起动手(L10 p.106-107)。

输入侧:检索器输入改成当前推理 τt\tau_t + query qtq_t,已经知道什么、现在缺什么,一并喂进去。

训练侧:学习目标从文档与 query 相关,改成哪些文档对该推理步有帮助。

第二处才是硬骨头:中间步检索需要局部标签。标准训练只有全局相关性标签,即整条 query 对整篇文档相关与否;这一轮哪些文档有用,这种标签现成数据里没有。

输入只有 query qtq_t;标签是文档与 query 的全局相关性;隐含假设 ——query 自含全部检索意图(p.101-105)。

输入是当前推理 τt\tau_t 加 query qtq_t;标签是文档对该推理步的帮助程度;假设反转 —— 意图的另一半在推理里(p.106-107)。

user: 对比主流深度研究系统的评测方法Thought: 前两轮已确认 GAIA 与 BrowseComp 考「任务完成」;还缺「引用支持性怎么评」—— 这一步要找 citation 评测,不是泛泛的 benchmarkAction: search (“深度研究 引用 评测”)assistant: query-only 的检索器只看到这条搜索串;AgentIR 还看到上面的 Thought——「缺引用维度」这半句才是本步真正的信息需求

三、DR-Synth:中间步标签从 agent 自己的需求里合成

局部标签从哪来?AgentIR 的答案是别找人标,找 agent 自己(L10 p.108-111):DR-Synth 用 agent 自生的信息需求合成中间步训练标签。

深度研究轨迹里,agent 每一步的推理本就写明自己为什么发起这次搜索、想拿到什么。拿这份自述去核对每轮实际返回的文档,即可自动判定哪些文档对该步有用,无需人工逐步标注。

这与 Tongyi 技术报告「数据全自动合成」的思路同源:标签从 agent 行为里长出来,而不是从标注平台买回来。

效果在 L10 p.112-114:更少的搜索找到更多的证据。检索器一次给对文档,agent 不必反复换关键词重搜。

四、两张消融:双修各值多少分,历史该喂多少

第一张表(L10 p.115-118)把输入与训练两个轴拆开。四列 agent 依次为 Tongyi-DR /gpt-oss-120B / GLM-4.7 / Tongyi-DR (visit),每格四数对应四列:

检索器输入 \ 训练数据标准相关性标签DR-Synth 合成标签
只喂 query48.7 / 47.6 / 50.5 / 50.259.4 / 59.2 / 57.5 / 59.5
query + 当前步推理55.5 / 51.3 / 50.9 / 54.066.3 / 67.0 / 64.7 / 68.1(AgentIR)

以 Tongyi-DR 列画成阶梯:

两个成分各自有增益,合并最高。输入侧的收益并非对每个 agent 都免费:Tongyi-DR (visit) 列只改输入仅涨 3.8 分,50.2→54.0,换训练数据却涨到 59.5;合起来 68.1,还是全场最高。

训练侧收益普适。输入侧的收益因 agent 而异。

第二张表(L10 p.119-123)专攻输入上下文:都用 DR-Synth 训练,只改检索器看到的输入。

  • 只喂当前 query:59.4 / 59.2 / 57.5 / 59.5,就是上表右上角那格
  • 加历史 queries:三列升至 61.9–63.1,GLM-4.7 只到 59.1
  • 再加历史推理:约 60.8–66.3,visit 列已到 66.3
  • 把历史文档也塞进去:部分设置反而下降,如 61.5
  • 只喂当前步推理,也就是 AgentIR 的选择:66.3 / 67.0 / 64.7 / 68.1,全场最强

slide 结论原话:「当前步推理是最强信号」。历史不是越多越好。无关历史是噪声:历史 query 与历史文档里大量内容与本步无关,一并喂入等于给检索器添干扰项。

别把对话记录整个塞给检索器

历史输入消融(p.119-123)的形状:加历史 queries、历史推理各涨一截,把历史文档也加进去反而掉分,比如 61.5。给检索器的输入与给 LLM 的上下文同理:都得做减法。

与本讲的连接

这也呼应本讲前半的主题:上下文的信息取舍。把什么喂给检索器,决定检索到的证据质量,进而决定报告的引用支持性,与四轴评测的第四轴闭环。

L10 的总结句(p.124 第 04 条)给检索下了新定义:检索 = 给检索器 agent 的信息需求,并为之训练。

四份材料各就各位:

  • m5-agentir|主线原典:COLM 2026 的 AgentIR 论文,DR-Synth 全文细节在此。
  • m5-tongyi-dr|消融事实源:四列消融中两列的事实源,工具谱系里 Python 执行与学术搜索的配置也是它贡献的。
  • m5-openscholar|文献综合参照:45M 开放论文的检索增强管线,同样验证「检索质量决定综合质量」。
  • m5-search-r1|另一半:证明检索行为本身可以被 RL 训练,管的是 agent 侧何时搜、搜什么;AgentIR 训练的则是检索器侧怎么读懂搜索意图。一个管动作选择,一个管意图理解。

收尾留一个检查习惯:agent 搜索三轮还在原地打转时,先别骂模型,先看检索器这一轮到底收到了什么。

本节论文与规范

本节资料

  • 官方指定(5b reading)。2026(COLM 2026)。检索器输入=当前推理+query,并用 DR-Synth 从 agent 自生的信息需求合成中间步训练标签;四模型消融 48.7→66.3,「当前步推理是最强信号」。中间步监督标签全自动合成,无需人工标注每一步该查什么,端到端可复现。客座讲师 Asai 组工作,L10 第四节主线。

  • 官方指定(5b reading,Nature 2026 版)。检索 45M 开放论文生成带引用的科学答问,正确性超 GPT-4o 与 PaperQA2,并发布 ScholarQABench。核心是检索-综合-自省循环:反馈智能体对照原文逐条核查引用支持度,再迭代修正答案与引文。客座讲师 Asai 代表作:文献综合型 DR 的参照系。

  • 2025(COLM 2025)。多轮搜索交互中用结果奖励训出「何时搜、搜什么」:检索 token 掩码+只训生成 token,7B 较 RAG 基线平均 +41%。模型自己决定发起检索的时机与 query,检索返回内容不进策略梯度,奖励只在最终答案结算。打通 5a(RL 损失设计)与 5b(检索智能体)的桥。

  • Tongyi DeepResearch Technical Report 论文2510.24701前沿官方指定

    官方指定(5b reading)。2025(v3 2026-05)。30.5B/3.3B 激活的 DR 专用模型:agentic mid-training+后训练端到端、全自动可扩展数据合成(零人工标注),HLE、BrowseComp 等智能体 DR 基准开源 SOTA。种子任务经约束校验与多智能体交叉验证合成大规模训练数据,agentic 能力再交由端到端 RL 收口。L10 的默认事实源。

AI 生成 · 仅供参考,与课程方无关。选中正文里的任何一段也能直接问我(解释一下 / 举个例子)。

本详解以 CMU 11-768 AI Agents (Fall 2026) 课程大纲为参考框架独立撰写,AI 辅助起草、人工抽审。 涉及的官方课件、论文与课程材料版权归原所有方,讲义为站内镜像、其余外链原文出处; 观点与文字(除标注引用外)为作者原创。