跳到主要内容
SecondHome

长时程税:从点得准到走得完,尺子跟着变形

14 分钟前沿4aL7 p.39-45 ↗p.79-80 ↗录像 ↗支撑材料 5 篇

单步 grounding 已近饱和,长程成功率却仍停在个位数到两成——这道断崖就是「长时程税」,本篇给它记三联账:误差累积(整体成功 ≈ ρ^T,0.95^50 ≈ 7.7%)、延迟成本(OSWorld 2.0 上人类中位 1.6 小时的工作流要平均 318 次模型调用)、验证缺口(只看结果会漏掉违规,WeaveBench 证明它还会奖励无效捷径)。三路换尺子同步进行:Odysseys 用平均 6.1 条 rubric 给部分分(8 条达成 7 条记 0.875,完美完成度口径却是 0.0),混合评估把过程检查与结果检查并查,MACU 以 plan→parallelize→replan 拆解并行——提升 3.4–25.5%、墙钟省约 1.5 倍。

每步都点得准,不代表整体走得完。单步视觉定位(grounding)的分数已经卷到近饱和,任务一拉长,成功率立刻跌回个位数到两成。中间这道差价,就是「长时程税」(long-horizon tax)。

这笔税记在三本账上:误差累积、延迟成本、验证缺口。任务一长,连怎么算成功都要跟着换尺子。本篇沿 L7 p.39-45 与 p.79-80 摊开这本账,再看 rubric 部分分、过程审计、并行拆解三条换尺子的路。

一、底账:ρ^T 这道乘法

设每步动作成功率 ρ,一条 T 步轨迹的整体成功近似连乘 ρ^T。每步 95% 听起来近乎可靠,五十步下来 0.95^50 ≈ 7.7%,十次成不了一次。

误差累积(error accumulation)按复利走:步数翻倍,分数塌方到平方级。单步满分填不平这道乘法。

把长程失败全记在 ρ^T 头上,也冤枉了它。讲义 L7 p.39 的长时程评估页先换了个问法:结果检查之外,要不要过程检查?长任务更难做对,也更难判对。做与判叠在一起,长时程税拆成三项,每项都在逼评估换尺子。

读长程榜单的换算习惯

看到长程成功率 X% 这类数字,先问两件事。步数是多少:ρ^T 之下,同一模型跑百步任务与五百步任务不在一个量级,CUA-World-Long 的长任务常超过 500 步,见 L7 p.45。口径是什么:二值完成、rubric 部分分,还是结果加过程混合;同一条轨迹,Odysseys 的两种读法可以差出 0.875 对 0.0。数字只有连同尺子才有意义。

二、尺子一:rubric 部分分 —— 给「差一点」记进度

长任务用全对才算对的二值判分,太粗。一条上百步的轨迹最后漏了一小步,与一步没走记同样的 0 分,既埋没了进展,也看不见短板在哪。

Odysseys(Jang* 与 Koh* 共同一作等,2026;L7 p.40-41)的答案是评分细则(rubric)型判分:200 个 live-web 长时程任务,每个任务平均配 6.1 条 rubric,主评估设 100 步上限。rubric 型 LLM judge 逐条核对,按达成比例给部分分,即 partial credit。

讲义自带的示例最能说明尺子怎么变形:规划 Palm Springs 婚礼行程这个任务有 8 条 rubric,agent 达成 7 条,部分分 0.875;换完美完成度的口径重读同一条轨迹,得分 0.0。在这把更宽容的尺子下,顶级模型的成功率也仅 44.5%。这不算放水:换尺子把还差多少变成可优化的梯度。

user: 规划 Palm Springs 婚礼行程assistant: agent 在 100 步上限内推进,交出行程方案tool: rubric 型 LLM judge 逐条核对 8 条评分细则Observation: 达成 7 条 → 部分分 7/8 = 0.875;按「完美完成度」口径重读 → 0.0Thought: 两把尺子都没说谎 ——0.875 量的是进度,0.0 量的是完成;用长任务评估前,先想清楚要量哪个

L7 p.45 的 CUA-World-Long 是同一思路的工程化版本:200 个长任务、常见超过 500 步,每个任务配 8 条标准 checklist,由 VLM 逐条验证。rubric 从 LLM judge 的判断改为标准清单加视觉核验,可复现性往前挪了一步。

三、尺子二:过程审计 —— 只看结果会说谎

判分还藏着第二个坑:终态对了,路径可能错了。讲义 L7 p.39 把混合 / 轨迹评估定义成双清单,结果检查加过程检查。

反例直白:结果 ✓ 购物车里是正确商品,过程 ✗ 发生了购买 → FAIL。仅按结果打分会漏掉违规,WeaveBench 与 OSWorld 2.0 的独立安全审计都为此把过程检查提进判分。

WeaveBench 在 L7 p.94 的证据更刺眼:114 个任务、中位 16 次切换,用轨迹感知(trajectory-aware)judge 重评后,发现问题不止漏违规。只看结果还会奖励无效捷径:绕路、脏操作、碰运气到达终态,一律得分。

终态对就给分:商品对、页面对、文件在,分数到手。但顺手完成了购买这类过程违规被完全漏掉,无效捷径被悄悄奖励;分数越高,越不知道 agent 怎么做到的。

混合 / 轨迹评估双清单并查(L7 p.39):结果 ✓ 正确商品、过程 ✗ 发生了购买 → FAIL。WeaveBench 用轨迹感知 judge、OSWorld 2.0 配独立安全审计,把怎么到达与到达没有放进同一张评分表。

过程视角还照亮了失败成因的迁移。OSWorld 2.0(2026;L7 p.42-44)把评估单位换成完整工作流:108 个工作流,人类中位耗时 1.6 小时,agent 平均要发起 318 次模型调用,判分用部分分加二值检查。

读数同样不高:最强配置 Claude Opus 4.8 max thinking,成功率也仅 20.6%。

失败主因也换了。单步 grounding 饱和之后,杀死长轨迹的是看不见的界面状态、执行中途变化的需求、没人核对的中间步骤。这三样都在过程侧。

四、尺子三:并行拆解 —— 把 T 拆小,税基就变小

ρ^T 有两种降法:提高每步 ρ,等更强的模型;或者减小乘在一起的 T,把长轨拆成短轨。MACU(Koh 等,2026;L7 p.80)走第二条,流程是 plan→parallelize→replan。

先按依赖关系把任务拆成 DAG(有向无环图),把就绪的子任务派发到隔离环境中的多个 CUA 并行执行,子任务的证据共享回来后再重规划。

账面收益:较单 agent 提升 3.4–25.5%,墙钟时间省约 1.5 倍。

L7 p.80 把纪律写在收益旁边:并行只有在协调保住正确性时才有益。拆解降低的是每条支线的 T,但所有支线的证据都要汇回重规划;协调一旦失守,多 agent 反而放大误差累积。

交接丢上下文、全局约束失守的完整版,第三讲的「要不要委派」详解已摊开,本篇只取它作为长时程解药的一面。

L7 p.79 的产品侧呼应是 Codex 后台 computer use:跨天跨周的挂起任务、多 agent 并行、实时协作。长时程的产品形态是挂起、并行、随时候命,而非一次跑完。

与本讲的连接

本篇下钻的是伴读第一节「走不远(长程任务)」那一小段。ρ^T 在伴读只占一行,延迟成本与验证缺口这两页账、三把新尺子的来历,都补在这里;讲次页 quiz 第一题正是这道乘法换算。

五张资料卡各有站位:

  • m4-osworld2 与 m4-osworld:原尺与续作,评估单位从单任务升到 1.6 小时的工作流
  • m4-odysseys:rubric 部分分
  • m4-macu:并行解药
  • m4-codex-cu:产品形态

同讲连读:第 2 篇量什么讲评估层级怎么选,第 5 篇把世界搬进沙箱讲环境从哪来;跨到第三讲,MACU 当过多智能体辩论的正方主角,本篇只取它的减税用途。三页账对三把尺:误差累积配 rubric 部分分,延迟成本配并行拆解,验证缺口配过程审计。

本节论文与规范

本节资料

  • 2026-04。后台 computer use:隔离后台会话、多 agent 并行、90+ 插件,任务跨度从天到周(L7 p.79 直接引用)。agent 从「盯着屏幕」转向「交付结果」。

  • Multi-Agent Computer Use(MACU) 论文2606.01533前沿官方指定

    官方指定 reading(L7 p.80)。manager 把任务分解为 DAG:就绪节点并行派发子 agent、随新信息增删改节点重规划,下游不可重观察的信息经 manager 结构化前传。较强单 agent 基线提升 3.4–25.5%、墙钟时间省约 1.5×(2026)。

  • Odysseys 论文2604.24964前沿官方引用

    2026 年讲者新作、rubric 评估代表作(L7 p.40-41)。200 个 live 长程任务,每题平均 6.1 条 rubric 判分、100 步上限,顶级模型 44.5%。live 场景无法程序化断言,rubric 成为终态检查的现实替代。

  • OSWorld 论文2404.07972进阶官方指定

    官方指定 reading(L7 p.35)、NeurIPS 2024。369 个任务跑在 9 个真实应用组成的虚拟机上,每题自带可执行终态检查——把 WebArena 思路从浏览器扩展到整个操作系统。人类 72.36% vs 最佳模型 12.24%,CUA 领域最通用的刻度。

  • OSWorld 2.0 论文2606.29537前沿官方引用

    2026 年长程评测新作。108 个小时级真实工作流,人类中位耗时 1.6 小时、平均 318 次 agent 调用——把「长」从几十步推到数百步(L7 p.42-44)。最强模型 Opus 4.8 仅完成 20.6%(论文口径),失败模式从「点不准」转向隐藏状态与不做验证。

AI 生成 · 仅供参考,与课程方无关。选中正文里的任何一段也能直接问我(解释一下 / 举个例子)。

本详解以 CMU 11-768 AI Agents (Fall 2026) 课程大纲为参考框架独立撰写,AI 辅助起草、人工抽审。 涉及的官方课件、论文与课程材料版权归原所有方,讲义为站内镜像、其余外链原文出处; 观点与文字(除标注引用外)为作者原创。