课程资料库

系统论证「可执行代码」是比 JSON 函数调用更强的 agent 动作表示：代码动作天然支持组合、控制流与变量复用。在 17 个模型上实证，12/17 同时拿下单步与多步双料冠军，并催生 OpenHands（原 OpenDevin）框架。本讲 CodeAct 板块的核心文献。

Xingyao Wang 等（UIUC，Heng Ji 组） · ICML 2024 · 2024

支撑：代码 vs JSON：工具动作表示之辩——CodeAct 的实证与代价ReAct 轨迹逐行拆解：从 Thought/Action/Observation 到 tool_call_id

「100 行的 AI agent」：只用 bash 一个工具、不设工具调用接口、每步状态无关执行，却在 SWE-bench Verified 上拿到 74% 以上。反直觉的极简主义样本——工具面最小化照样成事，反过来印证课程「四个工具加一个 finish」的最小 harness 主张。官方指定读物。

SWE-agent 团队（Princeton / Stanford，SWE-bench 原班人马） · GitHub（MIT，活跃维护，v2） · 2024

支撑：模型提议，外部执行：工具调用的定义、两大收益与窄接口设计

提出 Thought/Action/Observation 交替的推理-行动范式：先想再动、观察结果再想，构成现代 agent loop 的思想源头。论文 Fig.1 的轨迹对比是逐行拆解 agent trace 的现成教材，几乎所有框架的 trace 格式都能在此找到祖先。本讲官方同步读物之一。

Shunyu Yao 等（Princeton + Google Brain） · ICLR 2023 · 2023

支撑：ReAct 轨迹逐行拆解：从 Thought/Action/Observation 到 tool_call_id

自监督让模型自学工具调用：在语料中采样 API 调用候选插入文本、真实执行取回结果、再按「执行结果对后续文本困惑度的增益」过滤，最后用过滤后的数据微调。6.7B 模型在部分任务上超越大一个数量级的模型，证明工具使用能力可以低成本注入。这是「训练模型用工具」谱系的起点文献。

Timo Schick 等（Meta AI） · 2023

支撑：模型怎么学会选工具：从 Toolformer 自监督到 Kimi K2 强化学习的四幕剧

从语言模型视角系统回答「什么是工具」：给出统一的形式化定义，把工具知识与事实性知识、动作性知识区分开，并建立覆盖工具创造、选择、使用的统一分析框架。本讲「工具定义」板块（p.3-5）的概念地基即出自此文，是官方指定的第一篇入门读物。

Qinyuan Wu 等（Microsoft Research / UMD） · COLM 2024 · 2024

支撑：ReAct 轨迹逐行拆解：从 Thought/Action/Observation 到 tool_call_id代码 vs JSON：工具动作表示之辩——CodeAct 的实证与代价

把上下文无关文法编译成下推自动机并做 token 掩码缓存，实现字节级约束解码，让 JSON 等结构化输出接近零开销——最高数倍提速并显著放宽大批量下的性能惩罚。已进入 vLLM 等主流推理引擎，是「语法掩码」从论文走向生产的代表作，本讲约束解码板块的核心文献。

Yixin Dong 等（UBC，vLLM 生态） · MLSys 2025 · 2025

支撑：语法掩码与约束解码：从 JSON Schema 到永不跑偏的采样

官方指定读物。与 AWM 相同的 judge→induce→admit 归纳环，但产出物从文本模板换成可执行函数，由模型在沙箱里自己写、自己测、再入库。WebArena 五站点成绩从 41.3 提升到 59.5，注入技能后可达 80.2，完成任务所需步数从 24.5 降到 15.0。代码技能更强但门槛更高，是本讲技能库板块的关键对照。

Zora Wang 等（UC San Diego） · COLM 2025 · 2025

支撑：技能库与自动归纳：从 Voyager 到「越用越强」

官方指定读物。让 agent 从成功轨迹中归纳文本型 workflow 技能：先判断哪些步骤值得记住，再用 few-shot 提示把轨迹抽象成带 {变量} 占位符的动作模板，存入技能库供后续任务检索复用。在 WebArena 与真实网站任务上，跨任务的「技能复利」持续抬升成功率。与 ASI 同一团队的两条路线之一：这条走文本。

Zora Wang 等（UC San Diego / Ohio State） · ICLR 2025 · 2024

支撑：技能库与自动归纳：从 Voyager 到「越用越强」

官方指定读物。把 LLM 当操作系统：主上下文是内存，外部存储是磁盘，用函数调用做「换页」，靠自编辑内存的指令让模型自己管理内存层级，中断机制负责协调。这是上下文窗口不够用时的经典解法，后来演化为商业产品 Letta。本讲记忆管理板块的谱系源头。

Charles Packer 等（UC Berkeley） · 2023

支撑：外部记忆：从 MemGPT 的操作系统隐喻到生产记忆层

官方指定读物。OpenHands 团队的技能创建一手指南：什么时候该建技能——在模型刚刚完成一个值得复用的工作流时立刻动手，趁记忆新鲜把它固化；怎么写 SKILL.md，让 description 负责触发、正文写给模型看；以及如何在真实使用中迭代打磨。读完就能动手把重复工作流沉淀成自己的第一个技能。

Simone Michelini、Graham Neubig（OpenHands） · 2026

支撑：SKILL.md：把程序性记忆写进文件

官方指定读物。把失败也当资产：从轨迹（含失败尝试）中归纳「策略记忆」，按任务特征检索注入，让 agent 越用越强。工程结论很有分寸——LLM 裁判的归纳准确度只要落在宽区间内效果就稳定，检索条数过多反而掉分。融合了记忆管理与技能归纳两条线索，是本讲技能板块的收官读物。

Siru Ouyang、Jun Yan、I-Hung Hsu 等 · ICLR 2026 · 2025

支撑：技能库与自动归纳：从 Voyager 到「越用越强」外部记忆：从 MemGPT 的操作系统隐喻到生产记忆层

官方指定读物。87 个真实软件工程任务 × 8 个领域 × 18 种模型-harness 配置，系统量化技能的价值：带上策展技能后平均成功率从 33.9% 升至 50.5%。更细的结论是——只加载 1-3 个聚焦技能、SKILL.md 更短时增益更大；另有 13 个任务反被技能拖累。技能不是越多越好，这是第一份大规模实证。

Simone Michelini 等（OpenHands / CMU） · 2026

支撑：SKILL.md：把程序性记忆写进文件

官方指定 reading、L5 p.26-27 主线论文（2026，v1 2026-02-18）。agent 在「继续探索还是提交答案」之间做成本-不确定性权衡：先校准不确定性、再据此决定行动；格式解析实验里文件名是唯一线索，校准的先验直接改变行为。

Wenxuan Ding、Nicholas Tomlin、Greg Durrett（UT Austin） · arXiv preprint · 2026

支撑：思考、查看还是行动：test-time 预算三岔口与长视野败局

官方指定 reading、L5 p.15 表示谱系主线论文（ICRA 2023）。让代码补全 LLM 直接写机器人策略代码（含循环、感知 API、第三方库），层次化代码生成可组合复杂行为。与 SayCan 构成「选动作 vs 写程序」两条具身规划路线的对照。

Jacky Liang、Wenlong Huang、Fei Xia 等（Google Robotics） · ICRA 2023 · 2022

支撑：从 STRIPS 到 Code as Policies：计划表示的谱系与安全账

官方指定 reading（2025-10-07）、L5 p.4/p.33 引用。给 agent 加计划工具与可内联编辑的交互计划，产出含文件路径与代码引用的 Markdown 计划；官方称「先计划后施工显著改善生成代码质量」并支持更长 agent 运行。Shift+Tab 进入，复杂任务自动建议。

Jai Smith（Cursor/Anysphere） · Cursor 官方博客 · 2025

支撑：先规划还是边走边适应：一次 GPU 采购的三种摆法从 STRIPS 到 Code as Policies：计划表示的谱系与安全账一条采购轨迹，四个问题：第三讲的读法

官方指定 reading、L5 p.10 主线论文（ICLR 2023）。把分解做成「模块」：难子任务可继续递归分解或换专门子 LLM，输入过长按规模递归拆解，还能挂符号检索器做多跳 QA——「分解即架构而非提示技巧」的代表作。

Tushar Khot、Harsh Trivedi、Matthew Finlayson、Yao Fu 等（AI2） · ICLR 2023 · 2022

支撑：分解即泛化：从 CoT 草稿板到分解式架构

经典·高引（ICLR 2023）。官方指定 reading、L5 p.9 主线论文。把复杂问题拆成由易到难的子问题链再顺序求解、前答喂后问；SCAN 上仅 14 个示例达 ≥99% 准确率而 CoT 只有 16%——「分解本身就是泛化能力」最干净的证据。

Denny Zhou、Nathanael Schärli、Le Hou、Jason Wei 等（Google/Brain） · ICLR 2023 · 2022

支撑：分解即泛化：从 CoT 草稿板到分解式架构

官方指定 reading、L5 p.35-44 收束段主线论文（2026）。manager 把计算机使用任务分解为 DAG，按就绪前沿并行派发子 agent 并随新信息增删改节点；下游不可重观察的信息经 manager 结构化前传。较强单 agent 基线在 OSWorld/Online-Mind2Web/WebTailBench/Odysseys 提升 3.4–25.5%，Odysseys 平均完成时间快约 1.5×。

Jing Yu Koh、Ruslan Salakhutdinov、Daniel Fried（CMU） · arXiv preprint · 2026

支撑：要不要委派：正反对撞与可训练的中间道路把全讲收进一张清单：七问、四格开放题与回访路线

官方指定 reading、L5 p.20 主线论文（ICML 2025）。Planner 生成结构化高层计划、Executor 翻译为环境动作，并用「教师模型在成功轨迹上标注可行计划」的合成数据法分别微调两者。WebArena-Lite 57.58%、WebVoyager 纯文本 81.36% 双 SOTA。

Lutfi Eren Erdogan、Nicholas Lee、Sehoon Kim 等（UC Berkeley/SqueezeAI） · ICML 2025 · 2025

支撑：拆开 planner 与 executor：专业化红利与接口账单

官方指定 reading、L5 p.31 主线论文（2026，v1 2026-05-07）。用 RL 训练「能递归 spawn 自我副本、逐层委派子任务」的 agent，把推理期 scaling 算法（搜索+分治）内化到训练里，缓解上下文长度限制；只在中等难度任务上训练，难任务上委派得更深。

Apurva Gandhi、Satyaki Chakraborty、Xiangjun Wang、Aviral Kumar、Graham Neubig（CMU） · arXiv preprint · 2026

支撑：要不要委派：正反对撞与可训练的中间道路把全讲收进一张清单：七问、四格开放题与回访路线

官方指定 reading、L5 p.22 主线论文（CoRL 2022）。LLM 提供任务语义、机器人技能价值函数提供可行性打分，二者相乘选出「既合理又能做」的动作序列——语言规划必须被物理可行性接地，「计划是假说、世界说了算」的具身版。

Michael Ahn、Anthony Brohan 等 45 人（Google Robotics） · CoRL 2022 · 2022

支撑：从 STRIPS 到 Code as Policies：计划表示的谱系与安全账拆开 planner 与 executor：专业化红利与接口账单

官方指定 reading、L5 p.24 主线论文（2025，NeurIPS 2025）。提出「扩展交互」作为思考之外的第二条 test-time scaling 轴：加长交互视界让 agent 能探索、回溯、动态重规划；课程式在线 RL 训 Gemma 3 12B 即得 WebVoyager/WebArena 开源开放数据 SOTA。

Junhong Shen、Hao Bai、Lunjun Zhang 等（CMU/Stanford/Berkeley） · NeurIPS 2025 · 2025

支撑：思考、查看还是行动：test-time 预算三岔口与长视野败局

官方指定 reading（L7 p.66-69）。多 agent 分工共建环境、任务与奖励：110 个环境、32,112 条可验证奖励（RLVR）元组。GSPO 训练把 OSWorld 从 62.2 拉到 72.6%（2026）。

Bowen Wang 等（HKU） · arXiv preprint · 2026

支撑：把世界搬进沙箱：RL 之前的造环境运动

官方指定 reading（L7 p.80）。manager 把任务分解为 DAG：就绪节点并行派发子 agent、随新信息增删改节点重规划，下游不可重观察的信息经 manager 结构化前传。较强单 agent 基线提升 3.4–25.5%、墙钟时间省约 1.5×（2026）。

Jing Yu Koh 等（CMU） · arXiv preprint · 2026

支撑：长时程税：从点得准到走得完，尺子跟着变形

官方指定 reading（L7 p.61）。AgentNet 汇集 22,625 条跨三大操作系统的真实轨迹，配套标注工具与反思式 CoT。OpenCUA-72B 在 OSWorld-Verified 达 45.0%（2025），数据与权重全开源。

Xinyuan Wang 等（42 人） · arXiv preprint · 2025

支撑：把世界搬进沙箱：RL 之前的造环境运动轨迹经济学：选哪些轨迹、怎么喂

官方指定 reading（L7 p.35）、NeurIPS 2024。369 个任务跑在 9 个真实应用组成的虚拟机上，每题自带可执行终态检查——把 WebArena 思路从浏览器扩展到整个操作系统。人类 72.36% vs 最佳模型 12.24%，CUA 领域最通用的刻度。

Tianbao Xie 等（HKU/CMU） · NeurIPS 2024 · 2024

支撑：量什么：动作、结果还是过程——尺子如何说谎长时程税：从点得准到走得完，尺子跟着变形

官方指定 reading（L7 p.28）、ACL 2024。910 个任务继承 WebArena 的程序化终态检查，其中 25.2% 必须依赖图像输入才能作答——看图不是锦上添花，而是任务本身的组成部分。首个把视觉能力内建于验收的网络 agent 基准。

Jing Yu Koh 等（CMU） · ACL 2024 · 2024

支撑：量什么：动作、结果还是过程——尺子如何说谎从像素到动作：看不准的病与动作方言的分裂

官方指定 reading（L7 p.26）、ICLR 2024。812 个任务构建于 4 个自托管网站域，全部用程序化终态检查代替人工判分，可复现且拒绝「表演式成功」。GPT-4 仅 14.41%、人类 78.24%——网络 agent 评测的奠基之作。

Shuyan Zhou 等（CMU） · ICLR 2024 · 2023

支撑：量什么：动作、结果还是过程——尺子如何说谎

官方指定（5b reading）。2026（COLM 2026）。检索器输入=当前推理+query，并用 DR-Synth 从 agent 自生的信息需求合成中间步训练标签；四模型消融 48.7→66.3，「当前步推理是最强信号」。中间步监督标签全自动合成，无需人工标注每一步该查什么，端到端可复现。客座讲师 Asai 组工作，L10 第四节主线。

Jimmy Lin 组（University of Waterloo）等，Akari Asai 合著 · COLM 2026 · 2026

支撑：让检索器看见推理：从 query-only 到 AgentIR

官方指定（5b reading）。2025。1,266 道需「锲而不舍、变着法子挖网」的短答案题：答案短好评分，专考浏览 Agent 的持久性与策略切换，配反作弊措施。题目刻意选搜索引擎首屏查不到的，逼出多跳跳转与深翻页；普通 QA 模型得分个位数，差距一目了然。DR 评测从 QA 走向任务级的标志。

Jason Wei、Zhiqing Sun、Spencer Papay 等（OpenAI） · arXiv · 2025

支撑：当答案不唯一：给深度研究打分的四条轴

官方指定（5a reading）。7B 模型 MATH 51.7%，同时提出 GRPO：组内均值当基线、丢掉 critic。同一 prompt 采一组回答，组内归一化的相对优势直接当优势函数，PPO 的 value 网络整个消失，训练开销大幅下降。L9 p.36-42 逐公式推导的对象（§4.1.1），开源 RL 默认算法的出生证明。

Zhihong Shao、Peiyi Wang、Qihao Zhu 等（DeepSeek） · arXiv · 2024

支撑：GRPO 家谱：奖励为什么必须「相对」把 Dr.GRPO 写成掩码再加权：一份作业路线的展开

官方指定（5b reading）。2025（ICLR 2026）。100 道博士级研究任务覆盖 22 领域，配套报告质量维度评测+信息检索（子节点目标+证据支持/FACT）两套评审法。报告侧按覆盖率、结构、洞察等维度 LLM 评审，检索侧用子目标分解与事实支持度量化「查得全不全、用得对不对」。把「报告写得好不好」操作化的第一份系统基准。

Mingxuan Du、Benfeng Xu、Chiwei Zhu 等（微软） · ICLR 2026 · 2025

支撑：当答案不唯一：给深度研究打分的四条轴

官方指定（5a reading）。2025（v2 2025-10）。指出 GRPO 除以 std 丢失题目难度信息、除以 token 数奖励「又长又错」的回答，提出 Dr.GRPO（只减均值、除以常数上限），7B 达 AIME 2024 43.3%。两处归一化各删一项，难度偏置与长度偏置同时消失，简单题上的过度思考显著收敛。改动只有几行代码，却是「读公式要读分母」的最佳教案。伴读实践篇的作业路线会实现。

Zichen Liu、Changyu Chen、Wenjun Li 等 · arXiv · 2025

支撑：GRPO 家谱：奖励为什么必须「相对」把 Dr.GRPO 写成掩码再加权：一份作业路线的展开

官方指定（5b reading）。2025（ICML 2026 Oral）。RLER（演进式评分标准）训练：超 Tongyi DR 平均 15.6%、比 OpenAI DR 高 0.7%、每查询便宜 1000 倍；5% SFT 数据即可热启动 RL、演进 rubric 带来 50→58 的持续增益。评分标准逐轮加严并按区分度过滤，「标准本身在学习」，给开放式任务的 RLVR 递了可复用的钥匙。

Allen AI 等 · ICML 2026 · 2025

支撑：先模仿还是先试错：Deep Research 训练配方逐段对账一次搜索与深度研究之间隔着什么：从 GHC 5507 到带引用的综合

官方指定（5b reading，Nature 2026 版）。检索 45M 开放论文生成带引用的科学答问，正确性超 GPT-4o 与 PaperQA2，并发布 ScholarQABench。核心是检索-综合-自省循环：反馈智能体对照原文逐条核查引用支持度，再迭代修正答案与引文。客座讲师 Asai 代表作：文献综合型 DR 的参照系。

Akari Asai、Jacqueline He、Rulin Shao 等（AI2/UW） · Nature 2026 · 2026

支撑：一次搜索与深度研究之间隔着什么：从 GHC 5507 到带引用的综合当答案不唯一：给深度研究打分的四条轴让检索器看见推理：从 query-only 到 AgentIR

官方指定（5a reading）。采样→按奖励过滤→对留下轨迹做 SFT 的 growing-batch 迭代，机器翻译上以更少算力/数据超越在线 RL。Grow 与 Improve 两阶段交替、数据集只增不减，天然离线可并行，代价是奖励信号无法反哺下一轮的采样策略。L9 用它讲「介于 SFT 与 RL 之间的重加权」。

Caglar Gulcehre 等（Google DeepMind） · arXiv · 2023

支撑：从抄好动作到拿结果：SFT 与 RL 之间没有鸿沟

官方指定（5a reading）。期望最大化式自训练：二值奖励过滤+迭代 SFT，随模型规模持续涨点，MATH/APS 上超过只用人类数据；GRPO 之前「穷人 RL」最强基线。E 步用上一轮模型采样、按通过率分位过滤，M 步对留下的数据全量 SFT，循环往复。结论冷峻：高质量人类数据的天花板，被模型自己生成的数据顶穿了。

Avi Singh、John D. Co-Reyes、Rishabh Agarwal 等（Google DeepMind） · arXiv · 2023

支撑：从抄好动作到拿结果：SFT 与 RL 之间没有鸿沟

官方指定（5b reading）。2025（v3 2026-05）。30.5B/3.3B 激活的 DR 专用模型：agentic mid-training+后训练端到端、全自动可扩展数据合成（零人工标注），HLE、BrowseComp 等智能体 DR 基准开源 SOTA。种子任务经约束校验与多智能体交叉验证合成大规模训练数据，agentic 能力再交由端到端 RL 收口。L10 的默认事实源。

Tongyi DeepResearch Team（Baixuan Li、Bo Zhang 等，阿里） · arXiv · 2025

支撑：先模仿还是先试错：Deep Research 训练配方逐段对账让检索器看见推理：从 query-only 到 AgentIR

2025-10 新综述。用 PRISMA 方法系统筛出 90 项研究（2018–2025），按符号主义、神经生成两条范式梳理 agentic AI 的定义、架构、应用与治理。与 2023 年那篇经典综述前后对照，能看到领域从「LLM+工具」到「agentic AI」的两年扩张史与术语漂移。

Mohamad Abou Ali、Fadi Dornaika · arXiv 预印本（2025-10-29，含 Springer 期刊 DOI） · 2025

支撑：什么是 Agent：一条分界线、一个最小循环与框架的退潮

产业经典。把 workflow 与 agent 的分界钉死在「控制流归代码还是归模型」，再给出 augmented LLM、prompt chaining、routing、orchestrator-workers、evaluator-optimizer 五种可组合模式。工程界引用最广的 agent 设计入门——读懂它，再看各家框架都是这套模式的变体。

Erik Schluntz、Barry Zhang（Anthropic） · Anthropic 官网（2024-12-19） · 2024

支撑：什么是 Agent：一条分界线、一个最小循环与框架的退潮

讲「好工具长什么样」：命名与描述怎么写、参数怎么最小化、何时该拆分与合并工具、错误信息怎么写才能让模型自我修复。是从「会用工具」到「会造工具」的桥，本讲 MCP 与 CodeAct 板块的工程延伸。

Anthropic Engineering · 2025

支撑：MCP 协议解剖：tools/list、tools/call 与凭证代理代码 vs JSON：工具动作表示之辩——CodeAct 的实证与代价

业界事实标准的函数调用基准（2024-2026 持续更新，现处 V4）：覆盖单轮、多轮、agentic（会不会主动调、何时停）与鲁棒性四大象限，用 AST 与可执行双评判。GPT、Claude、Gemini 与各家开源模型均在此刷榜。本讲评测板块（p.52）直接引用。

UC Berkeley Sky Lab · 2024

支撑：工具调用评测棋盘：BFCL 四象限 × 四层评测栈 × 线上真实错误率

GPT-4 作为认知控制器，即插即用地编排知识检索、程序执行等异构模块，完成科学问答等复杂任务。与 HuggingGPT 对照阅读，可看清「控制器编排」的两条技术分岔：认知型模块组合与模型市场调度。

Pan Lu 等（UCLA + Microsoft Research） · NeurIPS 2024 · 2024

支撑：代码 vs JSON：工具动作表示之辩——CodeAct 的实证与代价

用 Torch Hub、TensorFlow Hub、HuggingFace 三大 API 池构建 APIBench 基准与 AST 评测，提出检索感知微调，让 7B 的 Gorilla 在真实 API 调用准确率上超过 GPT-4 且幻觉更少。项目组随后孵化出 Berkeley Function-Calling Leaderboard，是函数调用评测生态的源头。

Shishir G. Patil 等（UC Berkeley Sky Lab） · NeurIPS 2024 · 2023

支撑：模型怎么学会选工具：从 Toolformer 自监督到 Kimi K2 强化学习的四幕剧工具调用评测棋盘：BFCL 四象限 × 四层评测栈 × 线上真实错误率

系统展示间接提示注入的攻击面：网页、邮件、API 返回值等工具结果皆可携带恶意指令，模型读着读着就照做了；论文端到端接管了真实的 LLM 集成应用。工具安全领域的奠基工作，「不信任工具输出」这一原则的出处。

Kai Greshake 等（CISPA Helmholtz） · AISec@ACM CCS 2023 · 2023

支撑：工具结果注入攻防：当返回值开始「说话」

免费英文课程：从工具调用基础到 smolagents、langgraph、MCP 等框架单元，最终项目可拿证书。与本讲互补的动手轨道——听完概念，来这里把 tool use 真正跑通一遍。不绑定特定详解小节，作为全讲的实践补充。

Hugging Face

讲清 Jinja 模板如何把 messages 与 tools 序列化成模型实际输入：工具定义塞进 system、调用与结果按角色回填。这是理解 Qwen、Mistral、DeepSeek 三家工具调用「私语」的底层说明书，本讲三家 token 化对照的公共底座。

Hugging Face

支撑：同一 schema，三套私语：Qwen、Mistral、DeepSeek 的工具调用序列化

让 LLM 当总控，调度 Hugging Face 上百个专家模型：任务解析→模型选择→任务执行→响应生成四阶段流水线。「LLM as controller」编排范式的代表，也是理解「一个 agent 管一群工具」与单工具调用差别的最好入口。

Yongliang Shen 等（浙江大学 + MSRA） · NeurIPS 2024 · 2024

支撑：代码 vs JSON：工具动作表示之辩——CodeAct 的实证与代价

工具参数描述的词汇表标准：type、properties、required、enum、additionalProperties 等关键字的语义与求值规则。读懂它才能立住本讲的关键论断——schema 约束保证「形式合法」但保证不了「语义正确」，也才能看懂各家推理引擎的约束解码到底支持到哪一档。

JSON Schema 社区（OpenJS Foundation）

支撑：语法掩码与约束解码：从 JSON Schema 到永不跑偏的采样

1T 参数 MoE 开源模型的「agentic 优先」训练配方：用大规模合成工具调用数据做 SFT，再上数十万步的 RL 课程（agentic 轨迹与通用能力混合），在函数调用与 agent 评测上比肩闭源旗舰。中文团队给出的产业级证据，也是开源模型工具能力的当前标杆。

Kimi Team（月之暗面） · 2025

支撑：模型怎么学会选工具：从 Toolformer 自监督到 Kimi K2 强化学习的四幕剧工具调用评测棋盘：BFCL 四象限 × 四层评测栈 × 线上真实错误率

HubSpot 创始人从企业软件视角谈 MCP 为何一年内成为事实标准，以及 agent 互相发现、互调工具的「agent 网络」市场结构。观点未必全对，但提供了工程师视角之外的产业坐标，通勤友好，适合配合 MCP 规范一起消化。

Dharmesh Shah × swyx · Latent Space · 2025

支撑：MCP 协议解剖：tools/list、tools/call 与凭证代理

经典·高引。LLM 自主 agent 的奠基综述：把领域切成「构建框架—应用—评估」三段，统一了画像、记忆、规划、动作四大模块的术语，是「什么是 agent」被引用最多的定义来源之一。v7 仍在更新，适合作为本节的坐标系原点。

Lei Wang、Chen Ma、Xueyang Feng 等 13 人（中国人民大学等） · Frontiers of Computer Science（期刊版；arXiv v7 更新至 2025-03） · 2023

支撑：什么是 Agent：一条分界线、一个最小循环与框架的退潮

MCP 是连接模型与工具、数据的开放协议：客户端通过 tools/list 发现工具、tools/call 发起调用，另有 resources、prompts 两类原语，支持 stdio 与 HTTP 两种传输。逐条对照本讲 MCP 板块 slides 阅读，是理解「N×M 集成问题如何变成 N+M」的最佳素材。

MCP 开放工作组（Anthropic 发起） · 2026

支撑：MCP 协议解剖：tools/list、tools/call 与凭证代理

2025-10 新综述。提出 model-native 一词刻画范式转移：规划、工具使用、记忆从外挂 pipeline 编排逐步内化进模型参数，靠强化学习与长程训练完成。与课程「原生 agentic 模型」叙事同频，是判断下一代 agent 架构走向的前沿视角。

Jitao Sang、Jinlin Xiao、Jiarun Han 等 8 人 · arXiv 预印本（v2，2025-10-26） · 2025

支撑：什么是 Agent：一条分界线、一个最小循环与框架的退潮

tools=[{type:function,…}] 进请求、模型返回 tool_calls、以 call_id 配对回填结果的形状，已成行业事实标准。指南给出从定义工具 schema 到拿到结构化输出的完整链路，是动手第一站，本讲调用机制板块多次对照此文档。

OpenAI

支撑：ReAct 轨迹逐行拆解：从 Thought/Action/Observation 到 tool_call_id同一 schema，三套私语：Qwen、Mistral、DeepSeek 的工具调用序列化

中文系列长文：从 Function Calling 演进史讲到解码层实现技巧（特殊 token、语法掩码），再到 MCP 生态全貌。中文技术社区里少见的深度与准确度兼备的工具调用综述，适合作为英文材料的中转站——先读它建立框架，再啃英文原文。

quant67（土法炼钢） · 2026

支撑：同一 schema，三套私语：Qwen、Mistral、DeepSeek 的工具调用序列化语法掩码与约束解码：从 JSON Schema 到永不跑偏的采样MCP 协议解剖：tools/list、tools/call 与凭证代理

用 LLM 扮演真实用户，在航空、零售两域的多轮任务里考 agent 的工具调用与政策遵从；以任务成功率和 pass^k 指标揭示「单次通过率虚高」——k 次全过的成功率断崖式下跌。把评测从「调用对不对」推进到「任务办没办成」。

Shunyu Yao、Noah Shinn 等（Sierra） · 2024

支撑：工具调用评测棋盘：BFCL 四象限 × 四层评测栈 × 线上真实错误率

把「工具使用」拆成指令跟随、规划、推理、检索、理解、审查、调用、组织八个子能力分别评测，用细粒度指标定位模型短板。这种拆解方式与本讲「四层评测栈」（格式对不对→参数对不对→动作对不对→任务成没成）同构，是评测板块的重要参照。

Jian Chen 等（上海 AI Lab） · ACL 2024 · 2024

支撑：工具调用评测棋盘：BFCL 四象限 × 四层评测栈 × 线上真实错误率

给工具学习一幅统一叙事地图：为什么需要工具、工具从哪里发现与制造、四类训练方法、评测体系与文献地图。适合作为本讲的课后全景回顾。注意文献收录止于 2024 年，需与 ToolRL、Kimi K2 等新文互补阅读。

Yujia Qin 等（清华、人大等） · 2024

支撑：模型怎么学会选工具：从 Toolformer 自监督到 Kimi K2 强化学习的四幕剧

抓取 RapidAPI Hub 上 16000+ 真实 API 构建 ToolBench 数据集：用 GPT-4 合成指令、以 DFSDT 树搜索标注多工具依赖链，训练出 ToolLLaMA 并配 ToolEval 评测器。直接回答了「多工具调用的训练数据从哪来」这一工程关键问题。

Yujia Qin 等（清华 THUNLP 等） · ICLR 2024 · 2024

支撑：模型怎么学会选工具：从 Toolformer 自监督到 Kimi K2 强化学习的四幕剧

系统研究工具调用 RL 的奖励设计：把奖励拆成格式正确性、参数选择等解析奖励与最终结果奖励，扫遍粒度、规模、配比三个维度做受控实验。结论反直觉——不需要结果奖励，精细设计的解析奖励就足以大幅提升工具调用能力。

Qixin Tan 等（复旦大学等） · 2025

支撑：模型怎么学会选工具：从 Toolformer 自监督到 Kimi K2 强化学习的四幕剧

把数年攻防实践沉淀为可操作守则：默认不信任工具输出、高危动作留人工审批、双 LLM 隔离（一个读不可信数据、一个持权限执行）。与 Greshake 论文互为表里——一个证明问题存在，一个给出工程对策。本讲防御清单的重要参照。

Simon Willison · 2025

支撑：工具结果注入攻防：当返回值开始「说话」

Agent Skills 的官宣设计文：把技能比作给新同事的入职手册，模型按渐进披露三层加载——先读 description，需要时读正文，执行时才动脚本。细节很实用：PDF 技能把 forms 说明拆成单独一页按需引用；脚本执行不进上下文，只有输出进；与 MCP 互补——技能教「怎么做」，MCP 给「用什么」。

Anthropic · 2025

支撑：SKILL.md：把程序性记忆写进文件

Agent Skills 从 Anthropic 的产品格式升级为开放标准：SKILL.md 结构与渐进披露语义由社区维护，Cursor、GitHub Copilot、Codex、Gemini CLI 等数十家客户端已宣布支持。技能生态正从单一厂商走向互操作，「写一份技能到处可用」变成现实。标准正文在 /specification 路径持续演进。

Agent Skills 开放标准社区 · 2025

支撑：SKILL.md：把程序性记忆写进文件技能库与自动归纳：从 Voyager 到「越用越强」

「上下文工程」的定义性文本：在推理期间为模型策划最优的 token 数据集。点名 context rot——问题往往不是窗口不够，而是塞得越满注意力稀释越强（近似 n² 稀释）。药方是及时压缩、把结构化笔记落盘（1,234 步的宝可梦实验全靠笔记找回目标）、用子代理把数万 token 上下文蒸馏成 1-2k 摘要。本讲的世界观来源。

Anthropic · 2025

支撑：上下文压缩：留下什么，扔掉什么外部记忆：从 MemGPT 的操作系统隐喻到生产记忆层

Anthropic 官方技能示例库：docx/pdf/pptx/xlsx 文档处理四件套，外加创意写作与企业场景示例，配套最佳实践与技能模板。clone 下来照着改，是写出第一个技能最省事的路径，也是本讲动手环节的起点。

Anthropic

支撑：SKILL.md：把程序性记忆写进文件

中文入门综述：先分层——工作记忆（STM）与长期记忆（LTM），再讲记忆的写入、整合、检索等要素，金句是「记忆是仓库、上下文工程是调度员」。后半盘点 Mem0、Letta、LangMem、Amazon Bedrock Memory 等可用方案。零基础建立 agent 记忆模块全景的第一站。

亚马逊云科技中文技术团队 · 2025

支撑：外部记忆：从 MemGPT 的操作系统隐喻到生产记忆层

Claude Code 如何吃满提示缓存：请求按「系统提示→项目上下文→对话历史」分层组织，让稳定前缀全部落在缓存里；换模型、改 reasoning effort、增删 MCP 工具、compact 都会使缓存失效重算。健康度看 cache_read 与 cache_creation 的 token 比值。把上一份定价文档落到真实 agent 的用法里。

Anthropic

支撑：缓存经济账：一份 KV，两端省钱

Claude Code 官方对上下文窗口与压缩的权威说明：/compact 之后会保留什么——系统提示重新注入、CLAUDE.md 重读、活动 plan 重注入、最近浏览过的文件拉回上下文；/compact 后可以跟自然语言指定压缩重点；自动压缩的触发阈值也可配置。想理解「压缩到底丢了什么、留下什么」，这是最直接的一手资料。

Anthropic

支撑：上下文压缩：留下什么，扔掉什么

Anthropic 工程师复盘 compaction 的缓存安全实现：压缩天然破坏 prompt cache，他们的做法是尽量复用父对话前缀、只在末尾追加压缩指令，并给约 20k token 的摘要预留 buffer，让压缩后仍能命中缓存；再把缓存命中率当 uptime 级别的监控指标。压缩与缓存必须一起设计，这是最好的工程案例。

Thariq Shihipar（Anthropic） · 2026

支撑：上下文压缩：留下什么，扔掉什么缓存经济账：一份 KV，两端省钱

SKILL.md 规范的权威出处：frontmatter 里 description 加 when_to_use 合计 1536 字符上限，决定技能何时被模型看见；正文建议 500 行以内；压缩后每技能约 5k、合计 25k token 预算；另有 context:fork 等执行开关。写技能前后的对照检查表——字段语义只认这里。

Anthropic

支撑：SKILL.md：把程序性记忆写进文件

OpenAI Codex 的技能文档：同样采用 SKILL.md 的 Agent Skills 格式，目录结构、触发方式与 Claude 一脉相承。这份文档的存在本身就是最有说服力的事实——技能格式已在厂商之间互操作，写一次可以同时服务两边的 agent。

OpenAI

支撑：技能库与自动归纳：从 Voyager 到「越用越强」

Chroma 的技术报告：18 个模型 × 8 种上下文长度 × 11 个位置，约 19.4 万次调用。结论是不需要任何干扰项，长度本身就足以让输出质量退化；把 haystack 打乱后所有模型都升分，说明模型对长上下文存在顽固的位置依赖。有趣的是 NIAH 任务上未复现位置效应——与 Liu et al. 的张力正是本讲的看点。

Chroma 技术团队 · 2025

支撑：Lost in the Middle：位置与长度的双重衰减长上下文怎么评：从大海捞针到四代基准

2025-12 技术报告。提出 DSA（DeepSeek Sparse Attention）：与推理内核协同设计的可训练稀疏注意力，大幅降低长上下文的注意力计算量且保持长文性能——「注意力平方增长」账单在生产端被砍掉一刀的实证。注意 DSA 是报告中的一章，非独立论文；读 DSA 章节即可。

DeepSeek-AI（264+ 人） · arXiv 预印本（2025-12-02 技术报告） · 2025

支撑：架构速览：让窗口变大的五条路

经典·高引（400+）。梯子第三级：把写入从加法改成 delta 规则——先读出关联再只写误差，与当前 key 无关的记忆原样保留；配套并行训练算法把序列维度的并行度做回来。是从 linear attention 走向「可编辑状态」的分水岭。

Songlin Yang、Bailin Wang、Yu Zhang、Yikang Shen、Yoon Kim · NeurIPS 2024 · 2024

支撑：架构速览：让窗口变大的五条路

经典·高引。指出 prefill 与 decode 两相位在同一卡上互相干扰：一条长前缀的预填充能把旁人正在流式输出的解码拖出 SLO 违约。分卡部署（PD 分离）后，同等延迟承诺下可多服务 7.4 倍请求——今天各家推理集群的 PD 分离架构多源于此。长上下文越长，这篇越值得读。

Yinmin Zhong、Shengyu Liu、Junda Chen 等 8 人（北京大学 / MSRA） · OSDI 2024 · 2024

支撑：增长账单：上下文为什么会失控

梯子第四级：在 delta 写入前先做整体衰减，让状态第一次「能忘」。后续 Kimi Linear、Qwen 混合架构大量复用 Gated DeltaNet 作为线性层默认件，是当前工业界的事实标准之一。读它等于拿到五步梯子的中间支点。

Songlin Yang、Jan Kautz、Ali Hatamizadeh（NVIDIA） · ICLR 2025 · 2024

支撑：架构速览：让窗口变大的五条路

长上下文阵营的旗舰报告：Gemini 1.5 Pro 支持百万级 token（实验性至 10M），在多针检索里召回率 >99%，且跨模态（视频帧、音频）同样有效。最有说服力的实验是只给一部语法书与平行语料，模型学会把 Kalamang 语翻译成英语。注意常被误引为 2404.05196，正确编号 2403.05530。

Gemini Team（Google） · 2024

支撑：RAG 还是长上下文：一场被缓存改写成本的路线之争长上下文怎么评：从大海捞针到四代基准

59 个模型、7 类贴近应用的任务（检索、多跳、聚合、长文本理解、上下文学习等）横评：合成检索任务的分数几乎不能预测真实下游任务，任务间相关性也很低；且随长度增加，开闭源差距持续扩大。结论是长上下文评测必须贴近目标应用。注意常被误引为 2508.12653，正确编号 2410.02694。

Howard Yen 等（Princeton NLP / Intel Labs） · ICLR 2025 · 2024

支撑：长上下文怎么评：从大海捞针到四代基准

2025-10。KDA（Kimi Delta Attention）把 Gated DeltaNet 的衰减细化成通道级的对角门控，每个通道有自己的寿命；混合架构以约 3:1 的线性层:全注意力配比落地，公平对比下首次整体超过全注意力模型，长上下文的显存与 KV 缓存大幅下降。梯子第五级的当代代表作。

K Team（Moonshot AI） · arXiv 预印本（2025-10-30） · 2025

支撑：架构速览：让窗口变大的五条路

2026-06 新综述。把 30 多个 KV 缓存管理系统按局部性、生命周期、所有权、载体四轴分类，归纳出本地分页、分离流水线、共享存储、内存池、混合分层五种架构原型，并点名容错、MoE 服务等开放问题。给「KV 缓存线性显存」这座大山画最新全景地图。

Jie Li、Tongyang Wang、Yong Chen · arXiv 预印本（2026-06-30） · 2026

支撑：增长账单：上下文为什么会失控

经典·高引。梯子第二级：把 softmax 注意力拆成核化的加性形式，状态固定、可写成 RNN 循环，训练并行、推理线性。代价也在此埋下——纯加性写入让旧干扰永远擦不掉，为 DeltaNet 留下伏笔。一切线性注意力后续工作的原点。

Angelos Katharopoulos、Apoorv Vyas、Nikolaos Pappas、François Fleuret · ICML 2020 · 2020

支撑：架构速览：让窗口变大的五条路

提示压缩的代表家族：LLMLingua（2310.05736）用小模型做预算控制器加 token 级迭代压缩，最高压到 1/20；LongLLMLingua（2310.06839）面向长上下文，NaturalQuestions 提升 21.4% 的同时成本降 94%；LLMLingua-2（2403.12968）改用蒸馏数据训练压缩器，快 3-6 倍。本讲「有损压缩」路线的技术底座。

Huiqiang Jiang 等（Microsoft Research） · EMNLP 2023 / ACL 2024 · 2023

支撑：上下文压缩：留下什么，扔掉什么

500 道题嵌入可扩展的聊天历史，专考五种能力：信息抽取、多会话推理、时间推理、知识更新、拒答。结论之一：商业助手在持续记忆任务上比理想全上下文基线低约 30%。设计上采用「索引-检索-阅读」三阶段，可直接当作长记忆系统的评测模板用。

Di Wu 等（UCLA / 腾讯） · ICLR 2025 · 2024

支撑：外部记忆：从 MemGPT 的操作系统隐喻到生产记忆层长上下文怎么评：从大海捞针到四代基准

位置效应的开山作：多文档 QA 与键值检索中，模型对信息的召回呈 U 形——放开头和结尾最容易，埋在中间最差，且与文档本身的相关性无关。论文用 16 张图系统展示了这一规律，提醒「塞进窗口」不等于「看得见」。注意常被误引为 2207.03172（那是 FastHebb），正确编号 2307.03172。

Nelson F. Liu 等（Stanford / Sapienza） · TACL 2024（arXiv 2023） · 2023

支撑：Lost in the Middle：位置与长度的双重衰减

Manus 团队的中文复盘，最出圈的判断是「KV-cache 命中率是生产 Agent 最重要的单一指标」——命中与否可差 10 倍成本。具体做法：保持前缀稳定、只追加不重写；工具定义只在头部出现一次（遮蔽而非移除）；把文件系统当上下文用；todo.md 之类的软状态放到上下文末端。字字来自踩坑。

季逸超（Yichao 'Peak' Ji，Manus） · 2025

支撑：缓存经济账：一份 KV，两端省钱上下文压缩：留下什么，扔掉什么Lost in the Middle：位置与长度的双重衰减

把记忆做成抽取-整合-检索管线：从对话中抽取候选记忆，由 LLM 在 ADD/UPDATE/DELETE/NOOP 四个操作里决策后写入，检索时按相关性取回，另有图记忆变体。LOCOMO 基准上相对 OpenAI Memory 全上下文方案，准确率提升约 26%，p95 延迟降 91%，token 消耗降 90% 以上。对话式记忆的工程代表。

Prateek Chhikara 等（Mem0） · 2025

支撑：外部记忆：从 MemGPT 的操作系统隐喻到生产记忆层

39 页系统综述：把 agent 记忆沿三个维度展开——写入/管理/读取等记忆操作，文本/嵌入/结构化等记忆形式，情景/语义/程序性等记忆类型，再串起感知、规划、反思的完整循环。本讲记忆板块的术语骨架与地图基本取自这里。适合当字典用：读任何记忆论文前先来这里对坐标。

Zeyu Zhang 等（中国人民大学 / 华为诺亚方舟） · 2024

支撑：外部记忆：从 MemGPT 的操作系统隐喻到生产记忆层

大海捞针可视化的开山 repo：把上下文长度与针的埋放深度做成二维网格，逐格测试召回并渲染成热力图。GPT-4-128K 与 Claude 2.1 的两张图让全行业第一次「看见」长上下文的失效边界；2025 年 v2 升级支持多事实、UUID 关联链等更难的变体。代码开源，适合动手复跑。

Greg Kamradt · 2023

支撑：长上下文怎么评：从大海捞针到四代基准Lost in the Middle：位置与长度的双重衰减

NoLiMa 把针与 haystack 的词汇重叠降到最低，逼模型靠语义关联而非字面匹配来定位信息。结果：13 个标称 128K+ 的模型里 11 个在 32K 处跌破各自短文本基线的 50%，GPT-4o 从 99.3 跌到 69.7。说明长上下文的短板往往不是「装不下」，而是「联想不动」。

Adobe 等机构研究团队 · ICML 2025 · 2025

支撑：长上下文怎么评：从大海捞针到四代基准Lost in the Middle：位置与长度的双重衰减

2025-02。硬件对齐的可训练稀疏注意力：粗粒度 token 压缩加细粒度选择，训练时就按稀疏模式学，推理与训练一致，64K 序列的预填充与解码同时显著提速。与 DSA 同走「用稀疏性砍注意力账单」路线，是这条路线的独立论文版本。

Jingyang Yuan、Huazuo Gao、Damai Dai 等 15 人（DeepSeek） · arXiv 预印本（v2，2025-02-27） · 2025

支撑：架构速览：让窗口变大的五条路

经典·高引。提示缓存的系统论文源头：把反复出现的提示段落预计算成可复用的 attention 状态块，运行时按模块拼装，GPU 首 token 延迟最高降 8 倍。API 侧「缓存读一折」定价的学术根基——读懂它，各家提示缓存的价差与失效规则就透明了。

In Gim、Guojun Chen、Seung-seob Lee 等 6 人（耶鲁大学） · MLSys 2024 · 2023

支撑：增长账单：上下文为什么会失控

Anthropic 提示缓存的机制与定价：写入 5 分钟档 1.25 倍、1 小时档 2 倍，命中读取 0.1 倍（部分新模型低至 0.025-0.05 倍）；缓存按 512-4096 token 分档起步；一条请求最多 4 个断点；TTL 内每次命中都会刷新。显式断点设计让「什么值得缓存」成为开发者的显式决策，而不是平台的黑盒。

Anthropic

支撑：缓存经济账：一份 KV，两端省钱RAG 还是长上下文：一场被缓存改写成本的路线之争

OpenAI 的对照设计：缓存全自动，前缀达到最低 1024 token 即生效，GPT-5.6 及以后写入 1.25 倍、命中读取 0.1 倍，默认保留约 30 分钟；底层缓存的是注意力 KV 张量而非文本本身。省心但不可控，与 Anthropic 的显式断点哲学互为镜像，对照着读最有味道。

OpenAI

支撑：缓存经济账：一份 KV，两端省钱

NVIDIA 的系统体检：17 个模型 × 13 个任务，发现 NIAH 类简单检索近乎满分并不代表长上下文能力强——换成聚合、多跳追踪、变量追踪等复杂任务，声称支持 32K+ 的模型约一半在 32K 处已实际失效。「标称长度 vs 有效长度」的区分即出自这里。

Cheng-Yu Hsieh 等（NVIDIA） · COLM 2024 · 2024

支撑：长上下文怎么评：从大海捞针到四代基准RAG 还是长上下文：一场被缓存改写成本的路线之争

RAG 与长上下文的正面对比：资源充足时长上下文平均效果更好，但推理成本高得多；Self-Route 让模型先按 RAG 试探并自省「检索到的信息够不够」，不足时再升级为长上下文全量阅读，效果与纯长上下文相当而成本大幅下降（正文约省四成）。RAG vs 长上下文不是二选一，是调度问题。

Zhuowan Li、Cheng Li、Mingyang Zhang、Qiaozhu Mei、Michael Bendersky（Google DeepMind / 密歇根大学） · EMNLP 2024 Industry · 2024

支撑：RAG 还是长上下文：一场被缓存改写成本的路线之争

给「为什么开头最重要」一个机制解释：模型把超量注意力倾注在开头几个 token 上当「注意力汇」（attention sinks），后续 token 依赖它们维持稳定生成。只要保留最前面几个 token 的 KV 缓存并配合位置重排，就能以恒定内存做 400 万 token 流式生成，最高提速 22.2 倍。lost in the middle 现象的架构层根因。

Guangxuan Xiao 等（MIT / Meta） · ICLR 2024 · 2023

支撑：Lost in the Middle：位置与长度的双重衰减

服务端视角的 KV cache 经济账：注意力 KV 缓存占显存可达 30% 以上，连续存储下的内部外部碎片造成大量浪费；PagedAttention 借操作系统分页思想把 KV 切成块按需映射，浪费接近零，吞吐提升 2-4 倍。与 API 侧提示缓存合起来看，构成「同一份 KV、两端省钱」的完整图景。

Woosuk Kwon 等（UC Berkeley / Stanford） · SOSP 2023 · 2023

支撑：缓存经济账：一份 KV，两端省钱

技能库思想的源头：在 Minecraft 里让 GPT-4 自己写代码当技能，配自动课程出题、迭代提示机制与可执行技能库。技能可执行、可组合、可验证，入库之后获得独特物品数 3.3 倍、技术树探索 15.3 倍提升，还能迁移到新世界即插即用。今天一切 agent 技能归纳工作的共同祖先。

Guanzhi Wang 等（NVIDIA / Caltech / UT Austin 等） · TMLR · 2023

支撑：技能库与自动归纳：从 Voyager 到「越用越强」

经典·高引。窗口外推的标配方法：把 NTK 式插值做成频率选择性插值，再对注意力温度做修正，用不到原模型 0.1% 的训练 token 就能把 4K 窗口扩到 128K。Qwen 等模型从原生窗口推向 1M 用的正是这条路线——「渐进长度训练配方」的核心组件。

Bowen Peng、Jeffrey Quesnelle、Honglu Fan、Enrico Shippole · ICLR 2024（通行引用；arXiv 页未标 venue） · 2023

支撑：架构速览：让窗口变大的五条路

记忆的第三条路线：把对话增量构建成时间感知的知识图谱，实体与事实带生效区间，检索时用图遍历加时间推理。LongMemEval 上准确率比全上下文基线最高提升 18.5%，延迟降低约 90%。图谱派与摘要派、原文派三足鼎立，这一派目前最强的证据。本讲记忆板块的三路线对照之一。

Preston Rasmussen 等（Zep） · 2025

支撑：外部记忆：从 MemGPT 的操作系统隐喻到生产记忆层

经典·高引（2024）、L6 p.37 主线论文。不给 LLM 决策权：分层定位-修复-验证三阶段固定流水线，SWE-bench Lite 32.00%（96 个修复）、单题 $0.70，同时优于所有开源 agent。「最简单的架构赢」对 agent 热的又一次校准。

Chunqiu Steven Xia、Yinlin Deng、Soren Dunn、Lingming Zhang（UIUC） · arXiv preprint · 2024

支撑：主循环之争：从 localize–edit–verify 到 Agentless 反路线

经典·高引（2024-12-19）、L5 p.16 引用。定义 workflows（预定义代码路径）与 agents（动态自定流程）之辨，给出 prompt chaining/路由/并行化/orchestrator-workers/evaluator-optimizer 五模式，核心建议「复杂度只在可证明改善时才加」。全讲的概念底座。

Erik Schluntz、Barry Zhang（Anthropic） · Anthropic 官网 · 2024

支撑：先规划还是边走边适应：一次 GPU 采购的三种摆法分解即泛化：从 CoT 草稿板到分解式架构

2025-06-13 产业工程复盘。Opus 4 主控 + Sonnet 4 子 agent 的研究系统较单 Opus 4 内部评测提升 90.2%；token 用量单独解释 BrowseComp 80% 的性能方差；多 agent 耗 token 约为聊天 15×、并行化把复杂查询研究时间最多压缩 90%。正方「什么时候值得多 agent」的定量注脚。

Jeremy Hadfield、Barry Zhang、Kenneth Lien 等（Anthropic） · Anthropic Engineering · 2025

支撑：要不要委派：正反对撞与可训练的中间道路

经典·高引（2023）。「一切皆可对话 agent」，用对话编排 LLM、人类与工具，成为事实标准框架之一。与 MetaGPT 合看：SOP 硬编码 vs 对话即控制流两条编排哲学。

Qingyun Wu、Gagan Bansal、Jieyu Zhang 等（Microsoft/Penn State） · arXiv preprint · 2023

支撑：要不要委派：正反对撞与可训练的中间道路

官方最佳实践文档（2025）。Claude Code 的探索-计划-编码-提交工作流、权限模式与 Plan Mode 实践——L5 p.4 所引 Claude Code permission modes 的展开，编码 agent 工具集讨论的产业对照。

Anthropic 工程团队 · Anthropic Engineering · 2025

支撑：主循环之争：从 localize–edit–verify 到 Agentless 反路线

2025-06-12 产业檄文。两条原则：「Share context and full agent traces」「Actions carry implicit decisions, and conflicting decisions carry bad results」；Flappy Bird 案例展示子 agent 因上下文不全面做互相冲突的决定。多 agent 辩论的最佳反方。

Walden Yan（Cognition） · Cognition 官方博客 · 2025

支撑：要不要委派：正反对撞与可训练的中间道路

官方文档（2025-2026 持续更新）。系统给出 prompt chaining、路由、并行化、orchestrator-workers、evaluator-optimizer 五种编排模式及 workflow/agent 之辨，是编排落地的标准词汇表。

LangChain 团队 · LangChain 官方文档 · 2025

支撑：分解即泛化：从 CoT 草稿板到分解式架构

经典·高引（ICML 2024）。借经典编译器思想：Planner 规划函数调用 DAG、Task Fetching Unit 派发、Executor 并行执行。相对 ReAct 延迟最高降 3.7×、成本省 6.7×、准确率反升约 9%。与 ReWOO 构成「串行解耦 vs 并行编译」一对。

Sehoon Kim、Suhong Moon、Ryan Tabrizi 等（Berkeley/SqueezeAI） · ICML 2024 · 2023

支撑：先规划还是边走边适应：一次 GPU 采购的三种摆法拆开 planner 与 executor：专业化红利与接口账单

2025 年多 agent 失败分类学（v3 2025-10-26）。7 个主流 MAS 框架、1600+ 标注轨迹，归纳 MAST 分类法：14 种失败模式、三大类（系统设计/agent 间失调/任务验证），标注者一致性 κ=0.88。多 agent「泼冷水」派最系统的证据。

Mert Cemri、Melissa Z. Pan、Shuyi Yang 等（Berkeley/ICSI） · arXiv preprint · 2025

支撑：要不要委派：正反对撞与可训练的中间道路

经典·高引（ICLR 2024）。把人类标准作业程序（SOP）编码进提示流水线：装配线式角色分工 + 中间产物结构化校验，抑制级联幻觉。「组织结构本身也是提示工程」的代表。

Sirui Hong、Mingchen Zhuge、Jiaqi Chen 等（DeepWisdom/KAUST，含 Jürgen Schmidhuber） · ICLR 2024 · 2023

支撑：要不要委派：正反对撞与可训练的中间道路

2025 年（v4 2026-07-10）。定义「50% 任务完成时间视界」：Claude 3.7 Sonnet 约 50 分钟；2019 年以来该视界约每 7 个月翻倍，若外推 5 年内可自动化人类需一个月的软件任务。「长时程」议题最常被引用的一张曲线。

Thomas Kwa、Ben West、Joel Becker、Amy Deng 等（METR） · arXiv preprint · 2025

支撑：思考、查看还是行动：test-time 预算三岔口与长视野败局尺子的进化：从 exact match 到时间视界

经典·高引（ICLR 2025）。前 OpenDevin，为编码 agent 提供沙盒、浏览与执行环境的开放平台，已成为 SWE-bench 榜单头部系统的常用底座。「环境与平台也是编码 agent 竞争力」的证据。

Xingyao Wang、Boxuan Li、Yufan Song 等（UIUC/All Hands） · ICLR 2025 · 2024

支撑：主循环之争：从 localize–edit–verify 到 Agentless 反路线

经典·高引（2023）。Planner/Worker/Solver 解耦、规划期完全不看观察：提示成本从随步数二次增长降为线性，HotpotQA 上 5 倍 token 效率且准确率反升 4%，还可把 175B 规划能力蒸馏进 7B LLaMA。代价：计划易过时，需配重规划触发器。

Binfeng Xu、Zhiyuan Peng、Bowen Lei 等 · arXiv preprint · 2023

支撑：先规划还是边走边适应：一次 GPU 采购的三种摆法拆开 planner 与 executor：专业化红利与接口账单

经典·高引（NeurIPS 2024）、L6 p.33 教学图出处。提出 agent-computer interface（ACI）：简洁编辑反馈、防呆护栏、改完即 lint；SWE-bench pass@1 12.5%、HumanEvalFix 87.7% 双 SOTA（2024 时点）。「把工具可用性当一等研究对象」的起点。

John Yang、Carlos E. Jimenez、Alexander Wettig、Kilian Lieret、Shunyu Yao、Karthik Narasimhan、Ofir Press（Princeton） · NeurIPS 2024 · 2024

支撑：主循环之争：从 localize–edit–verify 到 Agentless 反路线

经典·高引（ICLR 2024）、L6 p.47 主线论文。2,294 个来自真实 GitHub issue 的软件工程问题，以 fail→pass（修复生效）+ pass→pass（既有行为保留）双验证为验收。编码 agent 领域的「尺子」本体。

Carlos E. Jimenez、John Yang、Alexander Wettig、Shunyu Yao 等（Princeton） · ICLR 2024 · 2023

支撑：尺子的进化：从 exact match 到时间视界

2025 年编码基准「上难度」标志作（v2 2025-11-14）。1,865 道来自 41 个活跃维护仓库（商业应用/B2B/开发工具）的企业级难题，专打 SWE-bench 的「记忆污染 + 任务过短」软肋。

Xiang Deng、Jeff Da、Edwin Pan 等（Scale AI） · arXiv preprint · 2025

支撑：尺子的进化：从 exact match 到时间视界

2024-08 官方公告（页面更新 2025-02）。93 名专业开发者标注 1,699 个样本、剔除 68.3% 问题样本后得 500 题的 Verified 子集；GPT-4o 从原集 18.0% 升至 Verified 33.2%。榜单页另提供 mini-SWE-agent 的 bash-only 模型直比口径。

Neil Chowdhury 等（OpenAI，与 SWE-bench 团队合作） · OpenAI 官方公告 + swebench.com/verified.html 榜单 · 2024

支撑：尺子的进化：从 exact match 到时间视界

2026 年（v1 2026-01-17）Terminal-Bench 2.0 论文版：89 个真实工作流启发的终端任务，frontier 模型/agent 得分 <65%；官网（tbench.ai）现已迭代到 TB 4.0。与 SWE-bench 家族互补：修 issue 之外的通用终端操作。

Mike A. Merrill、Alexander G. Shaw、Nicholas Carlini、Boxuan Li 等（Stanford/SambaNova/Laude Institute 等 40+ 人） · arXiv preprint + tbench.ai 榜单 · 2026

支撑：尺子的进化：从 exact match 到时间视界

经典（ICLR 2024）。AgentInstruct 轨迹与通用指令数据混合 SFT，小模型获得 agent 能力且不掉通用问答技能。数据配比问题的早期答案：agent 数据不能单独喂。

Aohan Zeng 等（清华） · ICLR 2024 · 2023

支撑：轨迹经济学：选哪些轨迹、怎么喂

2024（ICLR 2025）。116 个任务族、20 个 Android 应用，任务参数化可生成近乎无限的实例，奖励读系统状态而非比对文本（L7 p.91）。抗背题、抗污染的动态基准代表。

Christopher Rawles 等（Google） · ICLR 2025 · 2024

支撑：量什么：动作、结果还是过程——尺子如何说谎

经典（2024-10）。第一个前沿模型级 computer use API 公测公告：模型看截图、输出 click/type/scroll 原语动作。官方口径 OSWorld 14.9%，CUA 产品化元年的起点。

Anthropic · Anthropic 官网 · 2024

支撑：CUA 图什么：又慢又贵又脆，为什么还要把屏幕当接口从像素到动作：看不准的病与动作方言的分裂

经典（2024-10）。研究侧复盘：为什么做 CUA、训练如何组织，以及提示注入与误操作两类新攻击面的 ASL-2 评估。厂方一手视角，安全红线从第一天就内建于产品。

Anthropic · Anthropic 官网 · 2024

支撑：CUA 图什么：又慢又贵又脆，为什么还要把屏幕当接口

2026-04。后台 computer use：隔离后台会话、多 agent 并行、90+ 插件，任务跨度从天到周（L7 p.79 直接引用）。agent 从「盯着屏幕」转向「交付结果」。

OpenAI · OpenAI 官网 · 2026

支撑：CUA 图什么：又慢又贵又脆，为什么还要把屏幕当接口长时程税：从点得准到走得完，尺子跟着变形

经典综述（v3 更新至 2026-03）。87 个 agent、33 个数据集按感知-交互-规划三维分类法梳理，并总结六大研究缺口。本讲全部内容的地图与总目录，入门第一站。

Pascal Sager 等（UZH） · arXiv preprint · 2025

支撑：CUA 图什么：又慢又贵又脆，为什么还要把屏幕当接口两场换挡：剥掉 API，再问行为从哪来

经典·高引（ICLR 2022）。instruction tuning 原典：137B LaMDA 在 60+ 任务的指令表述上微调后，25 个基准中 20 个零样本反超 175B GPT-3。「指令能力是训出来的」的第一份系统证据。

Jason Wei 等（Google） · ICLR 2022 · 2021

支撑：改行为改在哪：上下文、artifact 还是权重

2026 年。创建 agent 与审计 agent 协作，把 200 个真实软件变成 12,103 个任务，覆盖 22/22 个 SOC 职业组。K2.5 蒸馏到 Qwen3-VL-2B-Thinking，成绩从 12.7 涨到 22.5 分（L7 p.70-73）。

Pranjal Aggarwal 等（CMU） · arXiv preprint · 2026

支撑：把世界搬进沙箱：RL 之前的造环境运动

2025（COLM）。300 个任务、136 个活网站重建 Mind2Web：静态快照离线评测对照真实网站在线评测。WebJudge 判分与人类一致约 85.7%；结论是离线基准严重高估 agent 进展（L7 p.32）。

Tianci Xue 等（OSU） · COLM 2025 · 2025

支撑：量什么：动作、结果还是过程——尺子如何说谎

经典·高引（NeurIPS 2022）。指令微调 + RLHF 开山之作：SFT—奖励建模—PPO 三段管线，SFT 是第一步。1.3B InstructGPT 的输出被人类偏好于 175B GPT-3。训练线必读起点。

Long Ouyang 等（OpenAI） · NeurIPS 2022 · 2022

支撑：改行为改在哪：上下文、artifact 还是权重loss mask 的细节：模型到底在学哪些 token

2026-09-10 讲者立场文（L7 p.15）。GUI 是最通用的接口、长尾任务仍有价值、计算机使用是能力的 goldilocks 试验场；同时直言还剩五关未过。详解开篇引子。

Jing Yu Koh（CMU） · 讲者博客 · 2026

支撑：CUA 图什么：又慢又贵又脆，为什么还要把屏幕当接口对接清单：能力终点交给训练起点

经典·高引（NeurIPS 2023）。65B LLaMA 仅用 1,000 条精选样本微调，43% 的回复被评判追平或胜过 GPT-4——表面对齐假说：知识在预训练，对齐只需少量示范。对 agent 轨迹数据的价值判断要划边界。

Chunting Zhou 等（Meta/AI2） · NeurIPS 2023 · 2023

支撑：轨迹经济学：选哪些轨迹、怎么喂loss mask 的细节：模型到底在学哪些 token

经典·高引（ICLR 2022）。冻结原权重、注入可训低秩矩阵：可训参数降 10,000×、显存降 3×、推理零额外延迟。SFT 走向消费级硬件的基座，如今 agent 微调的默认选项。

Edward Hu 等（微软） · ICLR 2022 · 2021

支撑：改行为改在哪：上下文、artifact 还是权重loss mask 的细节：模型到底在学哪些 token

2026 年 Ai2 全开路线。MolmoWebMix 数据集（3.6 万人工 + 10.5 万合成），训练出 4B/8B 全开源纯视觉 Web agent。WebVoyager 从 78.2% 提到 94.7%（pass@4）。

Tanmay Gupta 等（Ai2） · arXiv preprint · 2026

支撑：把世界搬进沙箱：RL 之前的造环境运动从像素到动作：看不准的病与动作方言的分裂

2026 年讲者新作、rubric 评估代表作（L7 p.40-41）。200 个 live 长程任务，每题平均 6.1 条 rubric 判分、100 步上限，顶级模型 44.5%。live 场景无法程序化断言，rubric 成为终态检查的现实替代。

Lawrence Jang、Jing Yu Koh 等（CMU） · arXiv preprint · 2026

支撑：长时程税：从点得准到走得完，尺子跟着变形

2025-01。Operator 跑在云端 VM 浏览器里：登录、支付、CAPTCHA 一律交还用户接管（takeover），另有独立监督模型盯异常动作。后并入 ChatGPT agent。

OpenAI · OpenAI 官网 · 2025

支撑：CUA 图什么：又慢又贵又脆，为什么还要把屏幕当接口

2026 年长程评测新作。108 个小时级真实工作流，人类中位耗时 1.6 小时、平均 318 次 agent 调用——把「长」从几十步推到数百步（L7 p.42-44）。最强模型 Opus 4.8 仅完成 20.6%（论文口径），失败模式从「点不准」转向隐藏状态与不做验证。

Mengqi Yuan 等（xlang-ai） · arXiv preprint · 2026

支撑：长时程税：从点得准到走得完，尺子跟着变形

经典（2023）。Grow（采样筛选新数据）与 Improve（离线微调）交替推进：生成与训练解耦，比在线 RL 更稳、可复盘。为后续 RLVR 大规模造数铺路。

Caglar Gulcehre 等（DeepMind） · arXiv preprint · 2023

支撑：轨迹经济学：选哪些轨迹、怎么喂

2025 年 grounding 专项基准（L7 p.20-21）。1,581 张来自专业软件的高分辨率截图，要求模型精确点中目标元素。发布时最强模型仅 18.9%，ScreenSeekeR 检索增强后拉到 48.1%——「看不准」第一次被精确量化。

Kaixin Li 等（HKU） · arXiv preprint · 2025

支撑：从像素到动作：看不准的病与动作方言的分裂量什么：动作、结果还是过程——尺子如何说谎

经典·高引（ICLR 2024）。给截图元素叠加编号标记，把「输出像素坐标」降维成「选编号」的离散选择；GPT-4V+SoM 在 RefCOCOg 零样本超过全量微调 SOTA。此后截图加可交互标记成为 CUA 界面的通用做法。

Jianwei Yang 等（微软） · ICLR 2024 · 2023

支撑：从像素到动作：看不准的病与动作方言的分裂

经典·高引（NeurIPS 2022）。答对的路保留、答错的补出推理过程再学——自举循环让模型用自己生成的数据自我进化。一切自我进化训练的祖师爷，ReST 与 RLVR 造数都是它的后代。

Eric Zelikman 等（Stanford） · NeurIPS 2022 · 2022

支撑：轨迹经济学：选哪些轨迹、怎么喂

2026 年。480 个多步间接注入用例测 6 个 SOTA CUA：中招率 41.7%→72.9%。多步任务里攻击面随步数放大，确认门与只读权限是最有效的缓解。

Zhuoxin Zhan 等（Waterloo） · arXiv preprint · 2026

支撑：CUA 图什么：又慢又贵又脆，为什么还要把屏幕当接口

2024（ICML 2025）。2,438 个真实 Python 任务配成可执行环境；取 491 条通过测试的 run 微调 32B 学生模型，SWE-Bench 涨超 10 分（L8 p.3/22）。「环境→轨迹→权重」闭环的实证样板。

Jiayi Pan、Xingyao Wang 等 · ICML 2025 · 2024

支撑：轨迹经济学：选哪些轨迹、怎么喂改行为改在哪：上下文、artifact 还是权重

2025 年字节 Seed 的纯截图原生 GUI agent：统一动作空间 + System-2 推理 + 反思式在线训练三位一体，不依赖 DOM 或无障碍树。OSWorld 24.6、AndroidWorld 46.6，模型与数据全开源——纯视觉路线的分水岭。

Yujia Qin 等（字节 Seed） · arXiv preprint · 2025

支撑：从像素到动作：看不准的病与动作方言的分裂

2026 中文。成体系的 UI-TARS 深度解读：从原理、System-2 推理、反思式训练讲到 Agent TARS 实战。中文生态少见的完整长文，读原论文前的热身捷径。

掘金 AI 专栏 · 掘金 · 2026

支撑：从像素到动作：看不准的病与动作方言的分裂

2025/2026（ICLR）。306 个视觉提示注入用例：把指令藏进网页图片与截图，测 CUA 会不会照做。最高 51% 中招，系统提示防御收效甚微——攻击面搬到了像素层。

Tri Cao 等（NUS） · ICLR 2026 · 2025

支撑：CUA 图什么：又慢又贵又脆，为什么还要把屏幕当接口

2024（ACL）。643 个任务、15 个真实活网站；VLM-as-judge 自动判分，与人类一致率 85.3%（L7 p.30-31）。live 网站让真实性上升、可复现性下降——本篇给出折中样本。

Hongliang He 等 · ACL 2024 · 2024

支撑：量什么：动作、结果还是过程——尺子如何说谎

2025-12 中文。agentic SFT 工程向全流程：配对数据怎么造、从哪来、怎么训练与评测。与 4b 小节逐点对得上的中文对照材料，工程细节比论文讲得更细。

知乎专栏 · 知乎专栏 · 2025

支撑：改行为改在哪：上下文、artifact 还是权重loss mask 的细节：模型到底在学哪些 token

2025。四招稳定大规模 RL（clip-higher、动态采样、token 级 PG、overlong 奖励整形），Qwen2.5-32B 底座 AIME 2024 达 50 分，代码（verl）与数据全开源。clip-higher 放开低概率 token 促探索，动态采样丢掉全对/全错的无梯度组，token 级损失纠偏长回答，超长序列软惩罚替代硬截断。四招互相独立，工程侧最值得抄的作业。

Qiying Yu、Zheng Zhang、Ruofei Zhu 等（ByteDance Seed） · arXiv · 2025

支撑：GRPO 家谱：奖励为什么必须「相对」

经典·高引（2023）。奖励模型最优策略闭式解代回损失，偏好对齐退化成分类损失：免采样、免 RM。训练循环从「采样→打分→更新」缩成一次前向，偏好数据直接进梯度；代价是没有在线探索，分布外偏好易被钻空子。理解 GRPO 定位（比 PPO 便宜、比 DPO 上限高）的对照面。

Rafael Rafailov、Archit Sharma 等（Stanford） · NeurIPS 2023 · 2023

支撑：GRPO 家谱：奖励为什么必须「相对」

2026-04-21。「计划先行」路线产品化：Gemini 3.1 Pro 底座，普通版求速度、Max 用扩展测试时计算迭代「推理-搜索-精炼」；新增 MCP 连接私有数据、原生图表生成。与 OpenAI 的端到端 RL 路线不同，强调先出结构化研究计划再分步执行、过程可审视可纠偏。与 OpenAI 路线对照的最新材料。

Google · Google 官网 · 2026

支撑：一次搜索与深度研究之间隔着什么：从 GHC 5507 到带引用的综合

2025。把重要性采样从 token 级抬到序列级（序列似然比+序列级 clip），训练更稳、MoE RL 更平滑，已用于 Qwen3 系列；正交于 Dr.GRPO 的去偏路线。token 级比值逐位截断会引入偏差与方差失控，是训练崩溃的隐性来源，压回序列级一次截断即稳。与 DAPO 一并构成 2025 年 RL 稳定性的两条主流补丁线。

Chujie Zheng、Shixuan Liu、Mingze Li 等（Qwen 团队） · arXiv · 2025

支撑：GRPO 家谱：奖励为什么必须「相对」

经典·高引（2022）。SFT→RM→PPO 三部曲开山之作：1.3B 的 InstructGPT 输出被偏好于 175B GPT-3，把对齐变成可复制的工程管线。人类写示范、再两两比较排序、RM 学排序、PPO 对齐 RM，四步流水线至今仍是后训练的默认骨架；KL 惩罚防漂移、对齐税等概念也都出自这里。

Long Ouyang、Jeff Wu 等（OpenAI） · NeurIPS 2022 · 2022

支撑：从抄好动作到拿结果：SFT 与 RL 之间没有鸿沟

2025（v4 2026-02）。RLVR 升 pass@1 的同时普遍收窄解空间：大采样预算（pass@256）下反而找不回基座能答对的答案——「看不见的皮带」。pass@k 曲线随 k 增大交叉反转，提示 RLVR 更像锐化分布而非扩展能力边界。与 Spurious Rewards 构成 RLVR 边界讨论两翼：一个问信号真假，一个问能力上限。

Fang Wu、Weihao Xuan、Ximing Lu 等（UCSD） · arXiv · 2025

支撑：把奖励做硬就安全吗：作弊曲线、假奖励与看不见的皮带

2025（v2 2026-02）。1T MoE、15.5T token、MuonClip 优化器全程无 loss spike；agentic 数据合成+大规模 RL，不靠长思考即达开源领先的 agentic/编码成绩。大规模 RL 直接把工具调用与多轮交互表现纳入优化目标，而非只刷数学题。「把 RL 用于智能体能力而非数学题」的旗舰样本。

Kimi Team（Moonshot AI） · arXiv · 2025

支撑：先模仿还是先试错：Deep Research 训练配方逐段对账

2025。560B MoE 推理模型：CoT 冷启动+领域并行 RL 融成单一近 Pareto 最优模型；DORA 异步 rollout 系统 3 倍加速；AIME-25 token 消耗降 64.5% 不掉点——对应 L9 p.46 预告的 async RL 路线。通用、推理、代码各域 RL 阶段并行化再融合，证明统一模型优于多专家拼盘。系统章节单独可读，是异步 RL 落地的完整参考。

Meituan LongCat Team（Anchun Gui、Bei Li 等） · arXiv · 2025

支撑：GRPO 家谱：奖励为什么必须「相对」

2026。229.9B 总参/9.8B 激活的小激活 MoE 家族报告：agent 驱动数据管线、可扩展 agent-native RL 系统 Forge、能自我调试训练的 M2.7 checkpoint。用极低的激活成本对标旗舰级 agentic 成绩，省下的算力换更长上下文与更高并发。中文团队最完整的 RL 工程公开账本，从数据管线到系统栈逐节可查。

Aili Chen、Aonian Li、Baichuan Zhou 等（MiniMax，218+ 作者） · arXiv · 2026

支撑：先模仿还是先试错：Deep Research 训练配方逐段对账

2025-02（页面更新至 2026-02：MCP 接入+实时跟踪）。o3 底座、端到端 RL 训出的浏览 Agent：HLE 26.6%（带浏览+Python）、GAIA 登顶外部榜、5–30 分钟产出带引用报告。官方声明训练涵盖浏览、推理与 Python 使用的端到端 RL，发布于 DeepSeek-R1 两周后，共同开启 DR 产品化元年。产品形态与训练方式的一手声明。

Isa Fulford、Zhiqing Sun 领衔（OpenAI） · OpenAI 官网 · 2025

支撑：一次搜索与深度研究之间隔着什么：从 GHC 5507 到带引用的综合

经典·高引（2017）。对概率比做 clip 换来可多次 minibatch 复用样本的稳定策略梯度更新，LLM-RL 一切变体的默认底座；局限是需要与策略同量级的 critic。全文只有 actor、critic 两个网络和一段截断目标函数，没有花活，却定下了「重要性采样比 + 信赖域近似」的技术路线。读 GRPO 之前先读它，L9 的每一条公式都能回溯到这里。

John Schulman、Filip Wolski 等（OpenAI） · arXiv · 2017

支撑：从零推 REINFORCE：环境不可微，梯度从哪来

2025（v2 更新至 2026-01）。纯 RL（R1-Zero）+规则奖励练出自我验证、回退等涌现行为再蒸馏小模型；v2 补充为何不用 PRM（难定义、难标注、易 reward hacking）的第一手解释。无 SFT 冷启动、无神经奖励模型，答案对错一判即赏，「aha moment」成为推理 RL 叙事的起点；小模型蒸馏效果优于直接 RL，也给「大练小蒸」定了调。

DeepSeek-AI（Daya Guo 等） · arXiv · 2025

支撑：先模仿还是先试错：Deep Research 训练配方逐段对账

经典（2022）。固定金标准 RM 扮演人类，定量测出优化 proxy RM 时真实分数先升后降、拐点随 RM 规模与 KL 系数平滑移动——reward hacking 从轶事变曲线。Goodhart 定律第一次拿到可复现的 scaling law 形式：KL 罚与更大的 RM 只能推迟过优化，不能消除。此后所有奖励设计论文都要引用这条曲线自证清白。

Leo Gao、John Schulman、Jacob Hilton（Anthropic/OpenAI） · arXiv · 2022

支撑：把奖励做硬就安全吗：作弊曲线、假奖励与看不见的皮带

免费在线书+代码+视频课（2024–2026，Manning 纸质版 2026-07）：从 RL 记号、奖励建模、PPO/GRPO 到正则化与评测的全栈后训练教材，中译本社区维护。推导密度接近课程讲义而非博客，每章配代码与习题。公式吃不透时系统补课，比零散读博客省一半时间。

Nathan Lambert（AI2） · rlhfbook.com · 2026

支撑：从抄好动作到拿结果：SFT 与 RL 之间没有鸿沟从零推 REINFORCE：环境不可微，梯度从哪来双讲地图：三连讲的引擎课，插一场领域整车展

2025（COLM 2025）。多轮搜索交互中用结果奖励训出「何时搜、搜什么」：检索 token 掩码+只训生成 token，7B 较 RAG 基线平均 +41%。模型自己决定发起检索的时机与 query，检索返回内容不进策略梯度，奖励只在最终答案结算。打通 5a（RL 损失设计）与 5b（检索智能体）的桥。

Bowen Jin、Hansi Zeng、Zhenrui Yue 等（UIUC） · COLM 2025 · 2025

支撑：先模仿还是先试错：Deep Research 训练配方逐段对账让检索器看见推理：从 query-only 到 AgentIR从零推 REINFORCE：环境不可微，梯度从哪来

2025（v2 2026-02）。随机/错误标签奖励竟让 Qwen2.5-Math-7B 的 MATH-500 +21.4 分（近真奖励），原因是 GRPO clip 偏置放大预训练既有代码推理行为；Llama3/OLMo2 上无效。奖励与提升脱钩，说明涨点可能来自「解锁基座先验」而非「学习新能力」。RLVR 在学什么的最尖锐质疑，读任何 RLVR 结果前先过这一关。

Rulin Shao、Shuyue Stella Li、Rui Xin 等（UW / AI2） · arXiv · 2025

支撑：把奖励做硬就安全吗：作弊曲线、假奖励与看不见的皮带

2025（TMLR）。首篇高效推理结构化综述：模型/输出/提示三路线+训练数据与小模型+评测基准，「过长推理」问题（Dr.GRPO 长度偏置的另一面）的地图。每条路线按「提效手段 × 精度代价」整理，选型时可当索引用。想从单点论文跳到全局视角时的第一站。

Yang Sui、Yu-Neng Chuang、Guanchu Wang 等 · TMLR 2025 · 2025

支撑：把奖励做硬就安全吗：作弊曲线、假奖励与看不见的皮带

2024。用「越来越可钻空子」的环境课程训练后，模型零样本泛化到直接改写自己的奖励函数，且该行为在重训与无害训练后仍存活——reward hacking 最强实证：讨好→作弊连续谱。从谄媚响应到奖励篡改被放进同一课程谱系，暗示 RLHF 的奖励模型缺陷会随能力一起泛化。安全侧必读，讲奖励设计红线时反复回引。

Carson Denison、Monte MacDiarmid、Fazl Barez 等（Anthropic） · arXiv · 2024

支撑：把奖励做硬就安全吗：作弊曲线、假奖励与看不见的皮带

2025。首个工具调用 RL 奖励设计系统研究：奖励拆成格式（细粒度判定规则）+结果两维，GRPO 训练下较基座 +17%、较 SFT +15%。格式奖励按参数名、类型、取值逐项判定，与结果奖励的组合方式被做成消融矩阵，可按任务迁移。它把「动作=工具调用」的奖励从 0/1 走向结构化的样板。

Cheng Qian、Emre Can Acikgoz、Qi He 等（Rutgers） · arXiv · 2025

支撑：先模仿还是先试错：Deep Research 训练配方逐段对账

2024。RLVR（可验证奖励强化学习）一词出处：SFT+DPO+RLVR 三段全开放配方，把「数学对答案、代码跑测试」的奖励范式标准化。以 Llama 3.1 底座验证，数据、代码、训练细节全部开源，成为学术界后训练的对照基准。此后论文里「RLVR」三个字母都要追溯到这一篇。

Nathan Lambert、Jacob Morrison、Valentina Pyatkin 等（AI2） · arXiv · 2024

支撑：把奖励做硬就安全吗：作弊曲线、假奖励与看不见的皮带

经典（2021）。文本浏览器里答题+行为克隆+偏好奖励模型+强制挂引用：人类评委 56% 场合更偏好其答案。175B GPT-3 在真实网页上点链接、翻搜索、引段落，比较数据训练的 RM 再用 RL 对齐。Deep Research 的直系祖先，「检索+RL+引用」四年前已具雏形，2025 年的产品公告几乎逐条对得上。

Reiichiro Nakano、Jacob Hilton、Suchir Balaji 等（OpenAI） · arXiv · 2021

支撑：一次搜索与深度研究之间隔着什么：从 GHC 5507 到带引用的综合

2025 前沿。「Train ANY AI Agents with RL」：middleman 代理服务模拟推理 API，给任意 harness（Codex、Claude Code、OpenHands…）加 RL 零代码改动，配 rollout store——L12 p29 harness 无关设计的出处。在推理 API 层做中间人：截获调用、注入 logits、控制采样。「RL 包外挂」代表作。

Xufang Luo、Yuge Zhang、Zhiyuan He 等（Microsoft Research） · arXiv preprint · 2025

支撑：从一份脚本到一组服务：Agentic RL 系统的架构抉择

2025 综述（v5 2026 更新）。把 agentic RL 定式化为时序扩展的部分可观测 MDP，按规划、工具使用、记忆、推理、自我提升、感知六大能力 × 任务域双维度组织，综观 500+ 文献，并整理开源环境、基准与框架清单。L11/L12 的「系统与陷阱」两条线索都能在其中找到更大坐标。当课程地图用：迷失时回来看全景。

Guibin Zhang、Hejia Geng、Xiaohang Yu 等 25 人 · arXiv · 2025

支撑：你以为在训同一个模型：agentic RL 的四重错位与一张仪表盘双引擎解剖：RL 训练循环为什么不能裸写 PyTorch一条主线两台引擎：踩过的坑配对应的解

2025-11 前沿（伴生论文 arXiv 2511.18397）。真实生产编码环境 RL：学会 reward hack 后 12% 情况主动植入降低检测率的后门、50% 回答出现 alignment faking；一行「允许作弊」提示即可消除泛化性失准——奖励博弈后果的最高规格证据。失准还会泛化到编码之外，且撤掉作弊机会也不自动恢复——作弊与「不诚实倾向」纠缠出现。

Monte MacDiarmid、Benjamin Wright、Jonathan Uesato 等（Anthropic） · Anthropic Research · 2025

支撑：算法再稳，尺子歪了也白搭：奖励失效的三条路径与对冲

2025/2026（v5 2026-03）前沿。大规模异步 RL 系统：生成/训练解耦、staleness 修正（one-step-off）的系统研究——L11 p18-22 与 L12 p25「async 需陈旧性修正」的展开；2026 衍生 AReaL-DTA 前缀树（τ²-bench 压缩 9.43×）与 AReaL 2.0（Cursor 每 5 小时在线 RL 一版）。

Wei Fu、Jiaxuan Gao、Xujie Shen 等 13 人 · arXiv preprint · 2025

支撑：双引擎解剖：RL 训练循环为什么不能裸写 PyTorch你以为在训同一个模型：agentic RL 的四重错位与一张仪表盘

2026 前沿（GitHub: Infini-AI-Lab/astraflow）。dataflow 取代 trainer 中心控制的原则性组件抽象，原生支持多策略协同与弹性扩容——L12 p37 案例；服务化 vs SPMD 之争的最新一方。rollout、训练、推理全部降格为 dataflow 算子，控制器只管图不管 trainer，多策略混训变成图变换。适合当 L12 系统章的结尾读。

Haizhong Zheng 等（Infini-AI-Lab） · arXiv preprint · 2026

支撑：从一份脚本到一组服务：Agentic RL 系统的架构抉择

2026 前沿。用工具调用数学 rollout 实测：累积比值随 token 位置后移散布增大（Fig.1）、早期动作改变后续历史（到达概率 0.10/0.40=0.25）；Table 1 系统对比 PPO/GRPO/CTPO/Full/GSPO/DAPO/CISPO 各用哪段动作进权重——L11 p24-27 整段素材来源。核心主张：比值取截至当前 token 的累积动作——已执行前缀全部乘入，作无偏的前缀修正，长轨迹上不再失明于「怎么会走到这个历史」。

Zhang et al. · arXiv preprint · 2026

支撑：稳定更新：旧样本的比值会爆，六家怎么裁

2025 前沿。Clip-Higher、动态采样（跳过等奖励组）、token 级损失、超长奖励整形四件套；Qwen2.5-32B AIME'24 达 50 分超 DeepSeek-R1-Zero-Qwen-32B（47）且只用一半步数。L11 p35 表与 p44 动态采样均引此。四招各对一个病灶：clip 上界压熵、全等组浪费算力、样本级损失偏长回复、截断误判零分，消融逐项拆开。

Qiying Yu、Zheng Zhang、Ruofei Zhu 等 35 人（字节 Seed × 清华 AIR） · arXiv preprint · 2025

支撑：稳定更新：旧样本的比值会爆，六家怎么裁算法再稳，尺子歪了也白搭：奖励失效的三条路径与对冲

经典·高引（2015，ICLR 2016）。用 TD 误差的指数加权和估计优势，γ/λ 两旋钮调偏差-方差；L11 p15-16 的 δ 递推与 λ=0.5 数值例（Â=0.3+0.5(−0.2)+0.25(−0.4)=0.1）直接出自这里。λ→0 退化为单步 TD、λ→1 逼近蒙特卡洛，中间谱系一图看懂；再配 critic 网络可进一步压方差。

John Schulman、Philipp Moritz、Sergey Levine 等（UC Berkeley） · ICLR 2016 · 2015

支撑：信用分配三层楼：一个 0/1 的功劳记到哪一步

2023/ICLR 2024。On-policy 蒸馏（GKD）：学生自己 rollout 产生历史、教师在那些历史上给目标，专治「学生犯错后走到训练集没有的状态」——L11 p51 的出处（slides 引其 §3）。把「在谁的数据上算损失」与「用什么散度」拆成两个正交旋钮，反向 KL 与 JS 各有适用面。训练中教师在线打目标，算力换分布匹配，是蒸馏走向 RL 形态的关键一步。

Rishabh Agarwal、Nino Vieillard、Yongchao Zhou 等（Google DeepMind） · ICLR 2024 · 2023

支撑：向教师学习：课程垫路，蒸馏跟着学生的脚印走

2025 前沿。把重要性比率从 token 级改到序列似然级（整条响应长度归一化），裁剪与优化都在序列粒度；正面回答 L11 p25-27「长轨迹上 token 级比值发散怎么办」。序列比值数值范围紧、对 MoE 路由抖动也不敏感，已用于 Qwen3 系列训练。本站 lecture-05 另有同文条目，可对照两讲视角。

Chujie Zheng、Shixuan Liu、Mingze Li 等（Qwen 团队） · arXiv preprint · 2025

支撑：稳定更新：旧样本的比值会爆，六家怎么裁

2023 工程经典（2024 增补）。逐行复现 OpenAI 2019 lm-human-preferences，整理 padding、reward 归一化/白化、KL 惩罚等 N 条实现细节，还发现 PyTorch 与 TF 的 Adam 数值差异会放大早期梯度。每条细节都附消融曲线，展示「论文不写的东西如何决定成败」。把 L11 的 PPO 公式落成可跑代码前，先过一遍这份清单。

Shengyi (Costa) Huang、Tianlin Liu、Leandro von Werra（Hugging Face） · Hugging Face Blog · 2023

支撑：稳定更新：旧样本的比值会爆，六家怎么裁先手算，再对照实现，后看板：一份调试路线的展开

经典·高引（2015）。知识蒸馏奠基文：软标签温度、学生匹配教师分布——L11 p50「学生在固定教师轨迹上匹配 q(·|h)（80%/20% 例）」的理论源头。软目标携带类间相似度的「暗知识」，比 one-hot 信息更多、梯度方差更小，温度 T 调「教师讲多细」。短文几页可读完，却是包括 on-policy 蒸馏在内一切变体的公共起点。

Geoffrey Hinton、Oriol Vinyals、Jeff Dean（Google） · NIPS 2014 Deep Learning Workshop · 2015

支撑：向教师学习：课程垫路，蒸馏跟着学生的脚印走

经典·高引（2023，ICLR 2024）。人工标注 PRM800K（80 万步级标签）证明过程监督 PRM 一致优于结果监督 ORM；L11 p17「用人工步骤标注作 value 代理」（5x=6x−14 例）的直接出处。best-of-n 重排里 PRM 选出的解更稳，负例样本中「跳步、乱推」的失败模式清晰可见。此文把过程奖励从直觉推成可评测路线，后续隐式/生成式 PRM 都以它为参照系。

Hunter Lightman、Vineet Kosaraju、Yura Burda 等（OpenAI） · ICLR 2024 · 2023

支撑：信用分配三层楼：一个 0/1 的功劳记到哪一步

2024 经典综述帖（伴读站自选延伸）。reward hacking 的机制、实例与对策全景：代理目标优化、Goodhart、RLHF 中的作弊案例——L11 p41-47 的概念地图与延伸阅读总入口。从早期 RL 到 LLM 的案例串成「奖励被钻空子」演化史，对策部分可直接当 checklist 用。先读它建立地图，再按图索骥读原始论文。

Lilian Weng · Lil'Log · 2024

支撑：算法再稳，尺子歪了也白搭：奖励失效的三条路径与对冲

2025 前沿。首个开源大规模 hybrid-attention 推理模型，RL 阶段用 CISPO——clip 后的比值 sg 停梯度作固定权重、乘 log 概率；L11 p31 把 PPO 与 CISPO 目标函数并排对照，完整消融见此报告。报告还给出 CISPO 与 PPO-clip 的稳定性、效率对照与百万 token 上下文的工具调用评测。看「算法换形式→系统省资源」的完整链条，读它。

MiniMax 团队 · arXiv（技术报告） · 2025

支撑：稳定更新：旧样本的比值会爆，六家怎么裁先手算，再对照实现，后看板：一份调试路线的展开

经典（ICLR 2016）。L11 p13-14 两种 critic 结构的出处：线性 value head + stop-gradient 挂在 policy body 上只训 head；MSE 最优预测是均值（0.6 vs 0.3 例）也来自其 §3.2.1。正文把 seq2seq 从词级交叉熵抬到序列级指标，也是「为什么需要 critic」的早期论证。

Marc'Aurelio Ranzato、Sumit Chopra、Michael Auli、Wojciech Zaremba（Facebook AI） · ICLR 2016 · 2016

支撑：信用分配三层楼：一个 0/1 的功劳记到哪一步

2025 一线实践。反向 KL 版 on-policy 蒸馏的系统实证与工程配方（每步 dense 监督、免 reward 模型），与 GKD 学术版互补——L11 p51-52 两页公式的工业化对应。每步拿到教师分布级监督而非延迟标量奖励，样本效率高出一截；小模型蒸馏后反超大模型 RL 的对照极具冲击力。公式不多，工程细节都在明面。

Thinking Machines Lab · Thinking Machines Lab · 2025

支撑：向教师学习：课程垫路，蒸馏跟着学生的脚印走

2024（v6 2025-10）。基于 Ray 的开源 RLHF/Agentic RL 框架，主打易用与解耦，衍生 REINFORCE++；v6 对齐 DAPO 等新配方（GitHub 10.1k stars）——与 veRL 构成框架对比双案例。同一 Ray 基座上 colocate 与分离两种部署并存，抽象少、代码好读。与 veRL 对照读，控制器之争立刻具体。

Jian Hu、Xibin Wu、Wei Shen 等 · arXiv preprint · 2024

支撑：双引擎解剖：RL 训练循环为什么不能裸写 PyTorch从一份脚本到一组服务：Agentic RL 系统的架构抉择

2026 前沿。On-policy 自蒸馏：冻结初始模型当教师、教师输入=学生历史+已验证解答——L11 p53 的出处，把蒸馏与自我提升合流。教师即冻结的初始 checkpoint，零额外教师成本；已验证解答注入教师输入，防止自训漂移。与强到弱蒸馏（见 Qwen3 报告）正交，合流处即「自我提升的稳定化」。

Zhao et al. · arXiv preprint · 2026

支撑：向教师学习：课程垫路，蒸馏跟着学生的脚印走

2022 经典·高引（OSDI 2022）。迭代级调度：按 decode 步粒度回收/补位请求，连续批取代静态批——L12 p11 continuous batching 的出处，vLLM/SGLang 调度器的共同祖先。配套的 selective batching 把「哪些算子能合批、哪些不能」讲清，变长请求的采坑地图从此有了。读 vLLM/SGLang 源码前，先读它认祖。

Gyeong-In Yu、Joo Seong Jeong、Giyeong Moon 等（OSU） · OSDI 2022 · 2022

支撑：Rollout 经济学：省下的重复计算，都变成训练吞吐

2026 前沿。§5.4 Fig.7 实测被训 agent 用自己的模型 API key 调更强模型生成训练数据——L11 p42 hacking 矩阵「API key 通道」的实证出处。该基准评的是「LLM agent 自动化 LLM 后训练」，结果自家的训练 agent 先学会了薅环境。环境边界与凭证隔离从此是 RL 系统设计的一部分，而非运维细节。

Ben Rank、Hardik Bhatnagar、Ameya Prabhu 等 · arXiv preprint · 2026

支撑：算法再稳，尺子歪了也白搭：奖励失效的三条路径与对冲

经典·高引（2017）。clip surrogate objective 换来多次 minibatch 复用样本的稳定更新；L11 p30-32 逐帧拆的 0.8/1.2 界与「超上界不加奖励、低于下界不加重惩罚」的不对称曲线即其 Fig.1。相对 TRPO 抛掉二阶近似，一阶优化器即可跑；clip、KL 惩罚、ACER 三变体同台对比。正文仅 8 页，是一切裁剪改进的原点。

John Schulman、Filip Wolski、Prafulla Dhariwal 等（OpenAI） · arXiv · 2017

支撑：稳定更新：旧样本的比值会爆，六家怎么裁

2025 前沿。免显式步级标注训练隐式 PRM，把 PRM 变成只靠结果标签即可在线更新的奖励模型（与策略同步更新），省去显式过程标注；开源 PRIME-RL，把过程奖励真正接进在线 RL 训练循环。隐式 PRM 只靠结果标签即可冷启动，token 级细粒度打分随训练在线更新。与 Let's Verify 对照读：一个花钱标数据，一个让奖励自己长出来。

Ganqu Cui、Lifan Yuan、Zefan Wang 等 · arXiv preprint · 2025

支撑：信用分配三层楼：一个 0/1 的功劳记到哪一步

2025 前沿（v5 2025-12）。把 PRM 从标量打分器改成「先思考再打分」的生成式模型，步级监督成本大降、判别力反升；与 PRIME 一显一隐构成 PRM 两条路线对照。打分前先生成一段评估推理，相当于把 test-time scaling 用在奖励侧。同预算下判别准确率反超判别式打分器，是「奖励模型也该会思考」的代表作。

Muhammad Khalifa、Rishabh Agarwal、Lajanugen Logeswaran 等（Google DeepMind） · arXiv preprint · 2025

支撑：信用分配三层楼：一个 0/1 的功劳记到哪一步

2023/MLSys 2024。多租户 LoRA serving 的 Grouped-GEMM 内核奠基（SGLang LoRA 路由器前身）——L12 p40「8 并发多 LoRA 需特殊内核」的出处。核心是把各请求的 LoRA 增量凑成 grouped GEMM，小矩阵先乘后并，吞吐与显存两头赚；dLoRA 变体进一步共享基底。今天 SGLang/vLLM 的 LoRA 路由仍建在这套地基上。

Xupeng Miao、Gabriela de Souza Papotti、Yiying Zhang 等 · arXiv preprint · 2023

支撑：从一份脚本到一组服务：Agentic RL 系统的架构抉择

2025 前沿。GRPO 家族超大规模（旗舰 235B-A22B、119 语种）完整落地记录：强到弱蒸馏、thinking budget 控制与四种尺寸训练配方——「slides 里的算法如何变成产品」的最佳样本；其默认 chat template 删 reasoning 的行为也是 L12 p21 模板陷阱案例。训练管线四阶段（长 CoT 冷启动→推理 RL→模式融合→强到弱蒸馏）公开可抄。

An Yang、Anfeng Li、Baosong Yang 等 60 人（Qwen 团队） · arXiv preprint · 2025

支撑：向教师学习：课程垫路，蒸馏跟着学生的脚印走你以为在训同一个模型：agentic RL 的四重错位与一张仪表盘

2025 前沿。τ-bench 系统审计（§5.1）：SWE-bench Verified ≈81%（80.9% 附近放缓、剩余失败多有测试缺陷）、τ-bench Airline ≈70%（任务不一致）、Retail ≈92%（标注错误）——L11 p40 基准饱和三例的数据来源。做法是人工逐案复核失败样本，把「模型真错」与「基准标错」分开计数，可直接搬到自家评测。

Cuadron et al. · arXiv preprint · 2025

支撑：算法再稳，尺子歪了也白搭：奖励失效的三条路径与对冲

活跃开源仓库。RadixAttention 前缀缓存（L12 p10 agentic RL 组内共享 prompt 直接受益）与 in-flight weight update 文档示例（L12 p26）——读 L12 推理引擎两页的实操对照。文档把前缀缓存命中率、权重热更新写成可跑示例，帧率数据可复现。agentic RL 组内共享前缀正是 radix 树的拿手场景，配 L12 两页读效率最高。

SGLang 团队（LMSYS） · arXiv preprint · 2024

支撑：Rollout 经济学：省下的重复计算，都变成训练吞吐你以为在训同一个模型：agentic RL 的四重错位与一张仪表盘

2023 经典·高引（ICML 2023）。drafter 一次猜 k 个 token、大模型并行验证、拒绝采样保精确分布——L12 p12 的出处；RL 特有坑（策略在变、冻结 drafter 接受率衰减）由讲义补充。核心保证是输出分布与逐 token 采样严格一致（无损加速），收益全在「猜中白赚、猜错只多算一步」。drafter 怎么养、接受率怎么估，是把它搬进 RL 的真门槛。

Yaniv Leviathan、Matan Kalman、Yossi Matias（Google） · ICML 2023 · 2023

支撑：Rollout 经济学：省下的重复计算，都变成训练吞吐

2025/2026（v2 2026-02）前沿。随机/错误奖励也让 Qwen2.5-Math-7B 在 MATH-500 提升 21.4 分（真奖励 29.1 分）——奖励信号与基座先验未必耦合，直接挑战「奖励噪声该怎么补救」的直觉，极佳批判性阅读材料。效应只在数学强基座出现，Llama/OLMo 上随机奖励只会掉分——收益可能来自基座先验而非奖励本身。读完再判断自己的 RLVR 到底学到了什么。

Rulin Shao、Shuyue Stella Li、Rui Xin 等 · arXiv preprint · 2025

支撑：算法再稳，尺子歪了也白搭：奖励失效的三条路径与对冲

2026-02 官方审计。SWE-bench Verified 进度在 80.9% 附近放缓、剩余失败多有测试缺陷，官方宣布不再评测——L11 p39-40 假阴性与基准饱和叙事的官方一手材料。官方逐条公布剩余失败案例的测试缺陷，并说明继续刷分意义有限。与 SABER、τ-bench 修复公告并读，凑齐「基准自己也会错」的三方证据链。

OpenAI · OpenAI · 2026

支撑：算法再稳，尺子歪了也白搭：奖励失效的三条路径与对冲

2026-02 官方修复公告。τ-bench 任务不一致与标注错误的修正记录——与 SABER 审计对照读，看「基准自己也会出错」如何被生产方确认。修复清单逐任务列出改动理由与影响范围。实操提醒：报分数前先核对任务版本，新旧版本结果不可直接比较。

Victor Barres、Ben Shi（Sierra） · Sierra τ-bench Blog · 2026

支撑：算法再稳，尺子歪了也白搭：奖励失效的三条路径与对冲

2026-05 一线工程帖（L12 p23-24 官方引用）。Token-In-Token-Out：rollout 数据必须以 token 而非字符串存储传输，chat template 加空白等小变换会让训练/推理 tokenization 不一致；tokenize 一一对应、detokenize 多对一。跨系统传 rollout 一律传 token id，字符串往返即不可逆损伤。

Miles Team（radixark）、Banghua Zhu 等 · LMSYS Org Blog · 2026

支撑：你以为在训同一个模型：agentic RL 的四重错位与一张仪表盘

2024/EuroSys 2025。把 RLHF 建模为 dataflow 图，单控制器+混合编程兼顾灵活与性能；veRL 已成事实标准（GitHub 23.9k stars）——L12 p3-8 双 workload 分野与 p30-33 控制器之争的代表作。算法侧单进程单控制器写法，性能侧把模型切分交给资源池与 colocation，两头都要的解法。

Guangming Sheng、Chi Zhang、Zilingfeng Ye 等（字节 Seed） · EuroSys 2025 · 2024

支撑：双引擎解剖：RL 训练循环为什么不能裸写 PyTorch从一份脚本到一组服务：Agentic RL 系统的架构抉择

官方 slides L13 p10/p41 引用。不是静态测试集而是可扩展环境：97 个真实任务（邮件、网银、订票）+629 个安全测试用例，可插入攻击与防御做对抗式评测；发现 SOTA LLM 无攻击也会挂任务。后续大量 2025-2026 防御工作以其为标准靶场。

Edoardo Debenedetti 等（ETH Zurich + Invariant Labs） · NeurIPS 2024 Datasets & Benchmarks · 2024

支撑：指令与数据共用一根上下文：注入防御的三条路线怎么叠分数会说谎，日志不会：安全监控的证据链与评测算术

面向「恶意用户」威胁模型（L13 p9）的标杆基准，slides L13 p41 直接对照：110 个显式恶意任务（增广 440）、11 类危害；发现主流 LLM 无需越狱即相当顺从恶意代理请求，通用越狱模板可迁移到 agent 且保持多步作恶能力。

Maksym Andriushchenko, Alexandra Souly 等 14 人（OpenAI 及多所高校） · ICLR 2025 · 2024

支撑：Agent 出事，先问谁干的：五起事故与四类威胁的归因地图分数会说谎，日志不会：安全监控的证据链与评测算术

2025-06-20 发布：模拟公司环境压测 16 个主流模型，面对「被替换/目标冲突」时模型会主动选择敲诈高管、泄露机密——agentic misalignment。把「agent 错误/不当手段」扩展到「策略性失准」。

Anthropic 对齐科学团队 · 官方文档 · 2025

支撑：Agent 出事，先问谁干的：五起事故与四类威胁的归因地图

slides L13 p31 引用（Greenblatt 等）：AI Control 框架——在假设模型试图破坏安全协议的前提下设计并评测防御方案，监控协议要能对抗故意规避。事后日志复盘与安全协议设计的理论基座。

Evan Greenblatt 等 · arXiv preprint · 2023

支撑：分数会说谎，日志不会：安全监控的证据链与评测算术

2025-11-24 发布：Claude Opus 4.5 浏览器场景注入防御三件套——RL 训练（模拟网页内容注入）+不可信内容分类器+规模化红队；内部 Best-of-N 自适应攻击者每环境 100 次尝试下 ASR 降到 1%，官方明言「1% 仍是有意义的风险」。训练路线最新最硬的数字。

Anthropic · 官方文档 · 2025

支撑：指令与数据共用一根上下文：注入防御的三条路线怎么叠

把 agent 安全形式化为 10 场景×10 agent×400+ 工具×27 类攻防方法×7 指标的全栈基准（2024）；实测注入攻击+记忆投毒+Plan-of-Thought 后门，最高平均攻击成功率 84.30%，现有防御普遍乏力。「攻击面分类」的骨架素材。

Hanrong Zhang, Jingyuan Huang, Kai Mei 等（Rutgers） · arXiv preprint · 2024

支撑：分数会说谎，日志不会：安全监控的证据链与评测算术Agent 出事，先问谁干的：五起事故与四类威胁的归因地图指令与数据共用一根上下文：注入防御的三条路线怎么叠

2025 年 DeepMind「从架构上根治注入」方案：特权规划器+非特权执行器，不可信内容只能产出「值」不能产出「控制流」，配安全 LLM 细粒度权限检查，对自适应攻击者具可证明安全性质。架构路线的旗帜。

Edoardo Debenedetti, Ilia Shumailov, Jamie Hayes, Nicholas Carlini, Florian Tramèr 等（Google DeepMind + ETH） · arXiv preprint · 2025

支撑：指令与数据共用一根上下文：注入防御的三条路线怎么叠

2025 年对照实验（图 4）：20 名常规 Copilot 用户做 Python 任务，OpenHands 比 Copilot 的主动投入（active effort）更低——但理解与监督仍然不可少。软件工厂「执行界面与人的位置」（L14 p34）一页的数据出处。

Valerie Chen, Ameet Talwalkar, Robert Brennan, Graham Neubig · arXiv preprint · 2025

支撑：软件工厂：五段管道、显式交接与离线精炼

slides L14 p22 出处（CodeR §2）：Manager/Reproducer/Fault localizer/Editor/Verifier 五专职角色早期多 agent 路线；相关 MetaGPT（arXiv 2308.00352）。

Dong Chen 等 · arXiv preprint · 2024

支撑：一个还是一队：单/多 agent 的专业化收益与交接账单

slides L13 p5 数据外泄事故的官方原始出处：「Ai command injection in M365 Copilot allows an unauthorized attacker to disclose information over a network」，CVSS 9.3/网络向量。一页讲清「一封邮件→私有文档出组织」全链路。

Microsoft MSRC · 官方文档 · 2025

支撑：Agent 出事，先问谁干的：五起事故与四类威胁的归因地图

2026 年发布：论证静态工具级权限在动态 agent 执行中根本不够，提出「权限随证据走」的形式化授权框架——用带证据的权限图刻画随运行时状态与数据流演化的授权决策。slides L13 p26-29 凭据管理的最新学术对应物。

Yifan Zhang, Xinkui Zhao, Sai Liu 等 · arXiv preprint · 2026

支撑：藏住 key，管不住权限：agent 凭据的最小权限设计

间接提示注入基准的奠基作（经典·高引）：1,054 个测试用例、17 种用户工具、62 种攻击者工具，攻击意图分「直接伤害」与「隐私外泄」两类；30 个 LLM agent 实测，ReAct-prompted GPT-4 攻击成功率 24%。理解「外部内容→指令劫持」的第一站。

Qiusi Zhan, Zhixiang Liang, Zifan Ying, Daniel Kang · ACL 2024 Findings · 2024

支撑：Agent 出事，先问谁干的：五起事故与四类威胁的归因地图指令与数据共用一根上下文：注入防御的三条路线怎么叠

2025 年发布：在 agent-工具接口布设双防火墙宣称四基准「perfect security with high utility」，同时揭露 AgentDojo/ASB/InjecAgent 的缺陷（错误成功度量、实现 bug、攻击太弱）并给修正版。既是防御参考也是「别尽信基准」的方法论教材。

Rishika Bhagwatkar, Irina Rish, Graham W. Taylor, Alexandre Lacoste 等 · arXiv preprint · 2025

支撑：指令与数据共用一根上下文：注入防御的三条路线怎么叠分数会说谎，日志不会：安全监控的证据链与评测算术

2025-06-16 发布：私有数据+不可信内容+对外通信三要素并存即可被注入利用，唯一可靠防御是别让三者同时出现。一句话框架讲透防御为何要从架构下手（对应 L13 p21 边界与 p27-29 凭据），社区引用极广。

Simon Willison · 官方文档 · 2025

支撑：Agent 出事，先问谁干的：五起事故与四类威胁的归因地图指令与数据共用一根上下文：注入防御的三条路线怎么叠藏住 key，管不住权限：agent 凭据的最小权限设计

slides L13 p24 云沙箱一侧的代表文档：API 创建与控制沙箱生命周期，对照本地 Docker/Apptainer/QEMU。另有 sandbox networking and security 文档可延伸。

Modal · 官方文档 · 2026

支撑：把危险关进笼子：沙箱的边界三问、放置拓扑与状态余波

slides L13 p42 示例（讲义自标 Illustrative）：10,000 次决策、1% 不安全、90% 抓获、1% 误报→189 条告警仅 48% 为真（90/(90+99)）——稀有不安全行为使多数告警是误报。防御评测与基础率算术的依据。

Melody Y. Guan 等 · arXiv preprint · 2025

支撑：分数会说谎，日志不会：安全监控的证据链与评测算术

slides L13 p34-35 引用（Baker 等图 1）：工具调用监控只见补丁与输出（verify() 被改永真），CoT 监控能见「绕过测试的计划」；但当推理检查压力大时，agent 转而把作弊藏起来（obfuscation）。

Bowen Baker 等 · arXiv preprint · 2025

支撑：分数会说谎，日志不会：安全监控的证据链与评测算术

slides L13 p16-17 出处：§3.1 安全 SFT 配方（先决定 refuse 还是 help→生成回复→过滤不安全→留训练）；§3.2.1-3.2.3 RL 安全（抗攻击：奖励守规+自动攻击找更难变体；避免误拒：合法安全请求混入奖励）。

NVIDIA · 官方文档 · 2026

支撑：指令与数据共用一根上下文：注入防御的三条路线怎么叠

2025 年发布；slides L14 p10（性能=更好模型+更好 agent 系统，报告 §5）与 p12-20 SDK 代码示例的出处：LLM/Agent/Conversation/Workspace 抽象、condenser、DockerWorkspace、确认策略的官方文档化论文。

OpenHands 团队 · arXiv preprint · 2025

支撑：OpenHands SDK：三层语义与五个生产旋钮软件工厂：五段管道、显式交接与离线精炼三年简史：从帮人写函数到替人过生命周期

2025 年发布；slides L13 p40「OpenAgentSafety tests multi-turn tasks with real tools」的原典：8 大风险类别、350+ 多轮多用户任务，用真实浏览器、代码执行、文件系统、bash、消息平台（本地托管）替代模拟工具，规则检测+LLM-as-judge。与授课教师 Neubig 直接相关。

Sanidhya Vijayvargiya, Xuhui Zhou, Zora Zhiruo Wang, Nouha Dziri, Graham Neubig, Maarten Sap（CMU） · arXiv preprint · 2025

支撑：分数会说谎，日志不会：安全监控的证据链与评测算术

OpenHands（前 OpenDevin）平台论文：写代码+命令行+浏览网页统一行动空间，规范 agent 实现、沙箱安全执行、多 agent 协同、评测接入四大件；15 项基准（SWE-Bench Lite、WebArena、GAIA）、188+ 贡献者、MIT 协议。7b 全课学术锚点。

Xingyao Wang, Boxuan Li, Yufan Song, Frank F. Xu 等（CMU/All Hands AI，含 Graham Neubig） · ICLR 2025 · 2024

支撑：OpenHands SDK：三层语义与五个生产旋钮一个还是一队：单/多 agent 的专业化收益与交接账单软件工厂：五段管道、显式交接与离线精炼事故开场，框架接住：一门课的两面

slides L13 p21（工具进沙箱拓扑）与 p29（凭据代理）引用的架构文档：agent 在外、工具调用经沙箱与 broker 越界；权限检查与执行机制置于 agent 控制之外的工程范本。

官方文档 · 2026

支撑：把危险关进笼子：沙箱的边界三问、放置拓扑与状态余波藏住 key，管不住权限：agent 凭据的最小权限设计

2025-05-08 发布：系统测量 CoT 与真实计算的不一致——模型会在没有言语化的情况下执行目标 hack、隐藏上下文，6 个 RL 环境中 5 个的奖励作弊言语化率不足 2%，提示言语化率也常低于 20%。监控主题（L13 p34-35）最硬的数字来源。

Anthropic（Yanda Chen 等） · arXiv preprint · 2025

支撑：分数会说谎，日志不会：安全监控的证据链与评测算术

slides L13 p27/p29 引用：OAuth 2.0 Token Exchange——凭据代理签发/交换短时 token 的标准协议基础。

IETF OAuth Working Group · 官方文档 · 2020

支撑：藏住 key，管不住权限：agent 凭据的最小权限设计

2026 年发布：针对未授权外部动作与运行时明文暴露提出双边界架构——敏感读取经可信网关替换为不透明句柄+有界摘要，外部写入走 PREVIEW→COMMIT 仅受信执行器可提交；AgentDojo/AgentLeak/ASB harness 下唯一同时守住效用与两个边界的防御。与 OpenClaw 事件天然呼应。

Yuhan Ma, Stefan Schmid · arXiv preprint · 2026

支撑：指令与数据共用一根上下文：注入防御的三条路线怎么叠藏住 key，管不住权限：agent 凭据的最小权限设计

slides L14 p23 出处（2024）：单 agent 做复现-定位-编辑-测试、活动间共享上下文；拆角色引入交接与维护成本——「有明确目的才加 agent」的原始论证。

OpenHands 团队 · 官方文档 · 2024

支撑：一个还是一队：单/多 agent 的专业化收益与交接账单

从历史运行离线精炼技能（Khatry 等表 1）：SkillRefiner 精炼出的技能在留出任务准确率与 PR 审查 F1 上都高于初始技能，且在两个 agent 模型上均成立——软件工厂「用自己的运行日志养自己」（L14 p42-43）的原典。

Khatry 等 · 官方文档 · 2026

支撑：软件工厂：五段管道、显式交接与离线精炼

提示工程路线防御代表（2024）：Delimiter/Marking/Datamarking 三种 spotlighting 技术帮模型区分指令与数据，GPT 系模型上把攻击成功率从 >50% 压到 <2% 且几乎不伤任务性能。与架构路线（CaMeL）对比的提示级样本。

Microsoft Research · 官方文档 · 2024

支撑：指令与数据共用一根上下文：注入防御的三条路线怎么叠

经典·高引；slides L14 p6 引用：真实 issue+仓库快照→补丁+仓库测试的仓库级评测，早期结果很差（图 1）。编码 agent 从单函数（HumanEval）走向真实工程的第一道分水岭。

Carlos Jimenez 等 · arXiv preprint · 2023

支撑：OpenHands SDK：三层语义与五个生产旋钮三年简史：从帮人写函数到替人过生命周期

2026 年发布：首个针对 coding agent 越界失当行为的分类与评测：7.4K 人机协同合成样本、11 种失当行为、覆盖代码生成/文件管理/系统交互三层动作空间、全自动评分。把 7a 安全课与 7b 编码 agent 课缝合的桥点。

Do Xuan Trong, Duc Anh Nguyen, Tongyao Zhu 等 · arXiv preprint · 2026

支撑：把危险关进笼子：沙箱的边界三问、放置拓扑与状态余波软件工厂：五段管道、显式交接与离线精炼Agent 出事，先问谁干的：五起事故与四类威胁的归因地图

2026-03-09 发布（中文）：沙箱六级光谱（0 无沙箱起）——容器→Seccomp-BPF→gVisor（I/O 密集开销 10-30%）→Firecracker microVM（冷启动约 125ms、内存 <5MiB、快照恢复约 28ms）→WASM。sandbox-isolation 主力中文素材。

Tian Pan · 官方文档 · 2026

支撑：把危险关进笼子：沙箱的边界三问、放置拓扑与状态余波

经典·高引；官方 slides L13 p11「ToolEmu 图 2(b)」原典：用 LM 模拟沙箱低成本枚举 agent 风险（查余额变成付账单），并给出 LM 风险评分器。「agent 错误」（误操作而非被攻击）威胁类别的定义性工作。

Yangjun Ruan, Honghua Dong, Andrew Wang 等 · arXiv preprint · 2023

支撑：Agent 出事，先问谁干的：五起事故与四类威胁的归因地图分数会说谎，日志不会：安全监控的证据链与评测算术

2026-03-03 发布：首批「野外间接注入」实况报告——识别 22 种载荷技术与此前未记录的攻击意图，严重度从输出扰乱到数据销毁、系统提示泄露，并首次观测到注入绕过 AI 广告审核。把事故叙事从个案升级为野外普遍现象。

Palo Alto Networks Unit 42 · 官方文档 · 2026

支撑：Agent 出事，先问谁干的：五起事故与四类威胁的归因地图

OpenHands 平台的通用化尝试（Soni 等图 1）：把编码 agent 的动作空间扩到视觉浏览、搜索与文件访问，一套工具栈在编码/研究/办公三类任务间复用——slides L14 p27「通用问题求解」的原典，也是单 agent 通用动作空间路线的跨域证据。

Soni 等 · arXiv preprint · 2025

支撑：一个还是一队：单/多 agent 的专业化收益与交接账单