当答案不唯一：给深度研究打分的四条轴

Deep Research 最尴尬的一刻，是有人问：这两份报告谁更好？单轮问答有标准答案，exact match（精确匹配）一判就完。交付物换成一篇千字长文加一串引用，唯一 gold（金标准答案）不存在，逐字比对彻底失效。

slides L10 从 p.14 到 p.50 用了近四十页，专门回答这一个问题：从经典 QA 的四个局限出发，推出一把四轴标尺。伴读那句「评测从单轮问答走向 GAIA、BrowseComp 这类任务级基准」，展开来就是这四十页。

一、四个局限：经典 QA 与 Deep Research 处处相反

L10 p.14-18 的 Natural Questions 官方例题平平无奇：who wrote the score for the force awakens，答案 John Williams。讲义拿这道题钉死经典 QA 基准的四个局限：

• 简单查找：一次搜索就能命中，无需多跳接力。
• 通用领域：不需要任何专门知识。
• 短答案：一个人名即可交卷，永远不考成文。
• 证据使用不明：评分从头到尾不问你从哪读来的。

Deep Research 恰好在四条上全部反转：检索要十几次改写与换角度，领域可以深到金融、医学、文献综述，交付物是结构化长报告。而且从 WebGPT 一脉相承起，必须挂引用本来就是任务的一部分。

考相反的学生，就得换相反的尺。L10 p.19-20 把新尺概括成四条独立的轴：

二、轴一轴二：把题出得够难、够专

轴一代表是 BrowseComp（Wei et al., 2025, OpenAI），slides 见 L10 p.21-25。1,266 道人写问题，专测锲而不舍、变着法子挖网。出题法是反着来的：从已知答案出发，把名字藏掉，混入多条事实线索。

难度验收有两道关：

• 接上搜索工具的 LM，应当做错。
• 5 次 Google 搜索，应当不够。

人工抽查的标准是人类埋头 10 分钟仍然嫌难。例题只给五条线索：

成绩单，L10 p.21-25：

• GPT-4o 0.6%
• GPT-4o+browsing 1.9%
• GPT-4.5 0.9%
• o1(medium) 9.9%
• Deep Research* 51.5%
• 人类参考线 25.3%，真人完成了 1,255/1,266 题

普通模型与人类的差距大到反直觉，GPT-4o 的 0.6% 不足人类 25.3% 的零头。另一个读法在星号上，必须放大了读：

轴一的能力是拿预算买的。L10 p.26 给出 Tongyi DeepResearch 的账本：搜索预算越大准确率越高，上下文从 8K 扩到 128K，准确率一路上行；评测时系统最多允许每任务 128 次工具调用。

训练侧同样对账。SFT 轨迹样本中超过 20% 带多于 10 次工具调用；模拟环境里 reward 从 0.45 爬到 0.85，训练步 100→300，EMA 平滑。

顺带一提，伴读称 BrowseComp「答案短、好评分」。轴一拉满、轴三留白，分数才好机器判：四条轴是可以拆开来分别加压的。

活网页考场有两个弱点：网页会增删改，难度随时间漂移；题目与答案还可能泄进训练语料。轴一的补丁是 L10 p.27-28 的 BrowseComp-Plus，干脆把考场冻结起来：

轴二从够难转向够专。ICLR 2026 的 FinSearchComp 给金融领域立了三段式管线，L10 p.31：

• 领域专家写题。
• 自己把答案建出来：用可靠数据计算并交叉核对。
• 独立评审：其他专家作答，分歧当面对账。

例题是强生 2022–2024 年国际收入占比的逐年变化。这题查不到现成答案，得用数据算成一张表格。

同轴还有医学的 MedBrowseComp，出自 NeurIPS 2025 GenAI4Health Workshop；学术方向的 ScholarSearch 与 AutoResearchBench，L10 p.32。

专业轴的共同点：出题人、验答案的都得是专家。专家才是这条轴上最稀缺的资源。

三、轴三：答案是文章，rubric 顶替 gold

第三轴最根本：研究型问题有多个同样有效的摘要，没有唯一 gold，L10 p.35-37。直觉方案是与参考答案算相似度，但相似而错是它的致命伤。

把 unproven（未证实）写成 proven（已证实），文本几乎不动。结论整个翻转，同样出自 L10 p.35-37。

定罪证据在 L10 p.38。ACL 2023 以专家偏好为准做了 109 组两两比较：preference accuracy（偏好准确率）随机基线 50%；ROUGE 58%、BERTScore 57%、BLEURT 62%，全部挤在掷硬币上方不远。

ScholarQABench 出自 OpenScholar，Nature 2026，见 L10 p.39-41。它换了思路：不比整体相似，改为逐条对照 rubric（评分细则）核对，再加权合成：

条款 1：报告了与人类专家的直接比较（权重 2）→ 候选答案满足（1）
条款 2：结论按任务与领域限定（权重 1）→ 候选答案不满足（0）
得分 = (2×1 + 1×0) / (2+1) = 0.67

让 LM 当裁判可靠吗？L10 p.42 引了 Nature 2026 的检验：12 道题、2 个系统、每份答案由 2 位专家独立评定。rubric 判定与专家的一致率是 79%，指标名 Expert–LM；专家互评 Expert–expert 也不过 80%。

79% 对 80%，rubric 裁判与两位人类专家几乎一样稳定，这条路线可以上场了。

手写 rubric 贵，规模化就交给 LM。TACL 2026 的 ResearchQA 让 LM 从综述文献里挖 rubric，L10 p.43；挖出 21K 道题、75 个领域、160K 条 rubric 项，LM judge 按 0–4 的覆盖度逐项打分。

审计结果并不乐观，L10 p.44：15% 的 parametric rubric 项空洞、有错或不清楚。翻车有三种。

• 引用不存在的论文。
• 只是复述问题。
• 标准含糊到无法判定。

对策是锚定来源、逐项审计可验证性。5a 里那句关于 KPI 的判词，在这里准时兑现：尺子本身也会被注水。

四、轴四：每条引用都要扛得住读原文

前三轴评的是答案，第四轴评的是证据。ICLR 2026 的 DeepResearch Bench，L10 p.47-49。它的 FACT 检查把引用评估做成动作：抽取报告里的论断加 URL 配对 → 真去读被引页 → 逐条判定 Supported / Not supported。

讲义那对例子同样出自 OpenScholar。OpenScholar was compared with human answers [1] 判 Supported；OpenScholar matches experts in every field [1] 判 Not supported。同一条引用 [1]，撑得起一句诚实的话，撑不起一句加码的话。

由此派生两个指标：

• citation accuracy（引用准确率）：被支持的配对数 ÷ 总配对数，例中 1/2 = 50%。
• effective citations（有效引用数）：真正被支撑的配对数。挂十条 URL 一条读不通，就是零。

至此四轴填满，L10 p.50：

• 搜索复杂度考过程。
• 领域专业性考深度。
• 答案质量考综合。
• 证据支持考诚实。

四个刻度都在手上，才谈得上给 Deep Research 打分。

与本讲的连接

伴读第四节说这个域的四个难点「每一个都踩在前几讲的主题上」，评测与引用质量占了两把交椅。本篇把这两把椅子展开：

• 评测是一套四轴坐标系。
• 5a 接回：RLVR 的前提是分数算得动，BrowseComp 的短答案与 FACT 的读原文是两端样本；每条轴都配着自己的刷法，打分体系的每次升级都是对刷法的针对性反制，古德哈特定律的评测版。
• 引用质量落地成 citation accuracy 与 effective citations；站主给简报 Agent 定的验收「引用去重、且引文必须实际支撑对应论断」，是轴四的产品化手写版。
• 资料卡各守一轴：m5-browsecomp 对应轴一起点，m5-drb 对应轴四起点，m5-openscholar 对应轴三双重起点，ScholarQABench 就藏在 OpenScholar 论文里。

搜索复杂度考过程，领域专业性考深度，答案质量考综合，证据支持考诚实。四轴各读各的数，合起来才是 Deep Research 的分数。