轨迹经济学：选哪些轨迹、怎么喂
同样一笔 GPU 预算，买更多轨迹、更多任务、更好的 teacher，还是更好的过滤器？本篇沿 slides L8 把账摊开。p.21 的 2×2 来源表里，大多数 agent SFT 数据挤在强模型跑+只留通过一格，因为筛选近乎免费；SWE-Gym 491 条过测 run 微调 32B Qwen，SWE-Bench 两 split 涨超 10 分（p.22），但 loss 照抄打转与脏收尾（p.24），最好用的过滤器只是数轮数、丢 <5 轮（p.25）。teacher 悖论：基准最强的 GPT-5.3-Codex 教出最弱学生（p.26）。OT-Agent 同起 10K，加同任务 run 平台期、加新任务持续上升（p.28）；混最好的 4–8 个任务源，再宽无益（p.27）。Agent Data Protocol 统一轨迹表示，转换从每对一次降为每数据集+每 harness 一次（p.30-34）。再配 STaR/ReST 自举源流（资料卡）与 MoE 路由塌缩一笔（p.37）。落点：优先买任务与过滤器，teacher 用学生成绩试出来。
一张 2×2 的表给 agent SFT 数据分了类 (L8 p.21)，大多数数据挤在同一格里。
讲次页伴读讲到这一节，只留下一句「瓶颈在轨迹数据」。run、任务、teacher、过滤器，四个去处单价差着数量级，本篇从这张表一路算到 p.37。
一、先摆 2×2：所有 agent SFT 数据只有四格
切法是两根轴。一根问轨迹谁跑：强模型代跑，还是目标模型自己跑。另一根问跑完留哪些：全留，还是只留通过验证的 (L8 p.21)。
四格各有名字，图里已经标了。要紧的是分布：大多数 agent SFT 数据全挤在「强模型跑 + 只留通过」一格。
挤成这样，胜在筛选近乎免费：过不过测试由环境自动判定，不用人工标注，效果未必最好。
纯蒸馏那格好坏全收。自己跑加只留通过的那格叫 expert iteration，要等下一讲 (第 5 讲，9/22) 的强化学习才轮得到。
二、近乎免费的筛选：491 条涨 10 分，与它照单全收的坏习惯
这格的上限有多高，先看数字 (L8 p.22)。SWE-Gym 让 GPT-4o 与 Claude 在 2,438 个真实 Python 任务环境里跑 agent，全部 run 里只留 491 条通过仓库测试的，拿这 491 条微调 32B 的 Qwen，SWE-Bench 两个 split 各涨超 10 分。
一条人工示范的钱能换一大把采样，筛选又免费。这就是强模型跑加只留通过成为主流的经济学理由。
但通过测试这条规则只审终点，不审路径 (L8 p.24)。
所以实践里最好用的过滤器朴素得尴尬 (L8 p.25)：数轮数，丢掉少于 5 轮的 run。它量工作量不量质量。4 轮的干净修复被错杀，40 轮的烂摊子被保留。平均而言仍有帮助，成本近零。
数轮数、丢 <5 轮：近零成本、可全量跑；错杀与漏杀并存，平均仍为正。
判坏习惯（打转 / 脏收尾 / 空转）：理论更准；要 LLM judge 或人工，贵一个量级，还把 judge 自己的偏差引进来。
课堂讨论把这层粗糙摊得更开 (L8 p.29)。同样算通过：A 四轮直解，B 先失败后恢复，C 十一次尝试后碰对。min-turns 会错杀 A。
更麻烦的是 B 那条。先失败再恢复的行为刚好补上分布偏移 (distribution shift) 的缺口，而 SFT 数据里最稀缺的，就是犯错之后的世界。便宜过滤器与教恢复天生打架，这个洞留给 RL 去补。
三、钱往哪砸：teacher 别看榜单，曲线认新任务
第一个反直觉 (L8 p.26)：GPT-5.3-Codex 基准成绩最强，它的 run 教出的学生却最弱。
排行榜量的是模型自己能做多好，教学力是另一种能力。工程解法便宜到不像话：让两个 teacher 各出一小批 run、各微调一次，留下学生成绩更好的那个。
饱和曲线里还藏着一个反直觉 (L8 p.23/28)。只看同任务采样：任务集不变、加大采样数，精度还在涨，说明缺的常常是采样算力。
但 OT-Agent 的对照实验 (Fig.3，同起 10K 条) 画出另一根曲线：继续加同任务 run，很快平台期；换着加新任务，持续上升。
两条曲线合读，结论落在任务侧 (L8 p.27)：任务源的选择影响最大，混最好的 4–8 个源、再宽无益。新任务的边际回报远高于给旧任务加 run。
最容易被忽略的一笔投向是格式 (L8 p.30-34，Agent Data Protocol 2026)。同一个网页，这份库存 HTML，那份库存无障碍树 (a11y tree)，两两互转是乘法级灾难。
ADP 的解法是统一中间表示：类型化的动作与观察，两种观察都保留。转换从每对数据集 ×harness 一次，降为每数据集 + 每 harness 一次。
入库后再按目标 harness (OpenHands/SWE-Agent/AgentLab) 渲染动作、配 system prompt，外加三项体检：可 parse、带 thought、收尾干净。
p.34 的多样性结果与任务源结论互相呼应：只换 mixture (混合配比)，混合训练在专属基准上也胜过单领域数据集，cross-task transfer 白送。
AgentTuning 是这条的早期证据：AgentInstruct 轨迹混着通用数据做 SFT，小模型获得 agent 能力而不掉通用技能。配比也是个超参。
四、自举源流与最后一笔配置
数据不一定买得到，也可以自己滚，伴读说的第三条路就是这个。STaR (2022) 立下祖训：答对的保留，答错的给答案补过程 (rationalization)，滚雪球般自举 (bootstrapping) 出训练数据。
ReST (2023) 把循环拆成两段交替：Grow 管采样与筛选，Improve 管离线微调。生成与训练解耦，比在线强化学习稳、好部署。
agent 的自采自训沿用的就是这套源流，放回 2×2，是自己跑加只留通过那格的迭代版。
最后一笔是配置账 (L8 p.37)：窄领域数据微调混合专家 (Mixture of Experts, MoE) 模型，路由会塌缩，少数专家吃掉大部分 token。
MAI 口径：监督阶段把路由平衡做好，比 RL 阶段硬一千倍；dropout 0.15 是他们给出的配置。窄轨迹集不只浪费数据，还会把稀疏架构训歪。
配置之外还有拼包这一笔 (L8 p.38)：packing 按剩余容量最紧适配地装整条对话，不截断长轨迹，同一个 pack 里避开相同 prompt—— 防的是把「没见全」当成训练信号。
与本讲的连接
伴读把 SFT 线的结论压成一句，本篇拆开是四笔账：
- 来源：2×2 四格，数据挤在筛选免费的那格 (p.21)。
- 筛选：近乎免费，坏习惯照单全收 (p.22-25/29)。
- 投向：teacher 看学生，新任务胜过新 run，格式统一 (p.26-34)。
- 滚动与配置：STaR/ReST 自举（资料卡），MoE 路由防塌缩 (p.37)。
m4-lima 再划一条边界：1,000 条精选样本对齐得了闲聊 (表面对齐假说)，盖不住多步轨迹的状态空间，轨迹贵在覆盖、条数其次。B 那条恢复 run 留不下、SFT 自己补不上，下一讲 RL 从这里接棒；预算到账，先买任务和过滤器，teacher 让学生成绩说话。
本节论文与规范
本节资料
- AgentTuning 论文2310.12823进阶
经典（ICLR 2024）。AgentInstruct 轨迹与通用指令数据混合 SFT，小模型获得 agent 能力且不掉通用问答技能。数据配比问题的早期答案：agent 数据不能单独喂。
- LIMA: Less Is More for Alignment 论文2305.11206入门
经典·高引（NeurIPS 2023）。65B LLaMA 仅用 1,000 条精选样本微调，43% 的回复被评判追平或胜过 GPT-4——表面对齐假说：知识在预训练，对齐只需少量示范。对 agent 轨迹数据的价值判断要划边界。
- ReST 论文2308.08998进阶
经典（2023）。Grow（采样筛选新数据）与 Improve（离线微调）交替推进：生成与训练解耦，比在线 RL 更稳、可复盘。为后续 RLVR 大规模造数铺路。
- STaR 论文2203.14465入门
经典·高引（NeurIPS 2022）。答对的路保留、答错的补出推理过程再学——自举循环让模型用自己生成的数据自我进化。一切自我进化训练的祖师爷，ReST 与 RLVR 造数都是它的后代。
- SWE-Gym 论文2412.21139进阶官方引用
2024（ICML 2025）。2,438 个真实 Python 任务配成可执行环境；取 491 条通过测试的 run 微调 32B 学生模型，SWE-Bench 涨超 10 分（L8 p.3/22）。「环境→轨迹→权重」闭环的实证样板。
AI 生成 · 仅供参考，与课程方无关。选中正文里的任何一段也能直接问我（解释一下 / 举个例子）。
本详解以 CMU 11-768 AI Agents (Fall 2026) 课程大纲为参考框架独立撰写，AI 辅助起草、人工抽审。 涉及的官方课件、论文与课程材料版权归原所有方，讲义为站内镜像、其余外链原文出处； 观点与文字（除标注引用外）为作者原创。