CUA 图什么：又慢又贵又脆，为什么还要把屏幕当接口
2026 年 API 与 function calling 遍地，顶级实验室却还在押注「让模型看截图、点鼠标」。本篇把对撞的两本账逐条摊开：反方的乘法账本——任务时间≈轮数×每轮时间，截图与长上下文让 prefill/生成步步加重；正方 Koh 的三条论据——GUI 是最通用接口、够得着 API 够不着的长尾、grounding 加长程推理的 goldilocks 试验场。再沿产品线三年走位（公测原语→takeover→Codex 后台并行）看到安全暗面（VPI-Bench 51% 中招、StepJack 72.9% 中招），最后落到一句实践立场：能走 API/CLI 就绝不截屏，CUA 是兜底。
2024 年 10 月，Anthropic 的 computer use 公测。官方口径 OSWorld 14.9%。2026 年 4 月，OpenAI 又把 computer use 装进 Codex 的隔离会话，当后台执行器跑。
2026 年，API 与函数调用 (function calling) 遍地都是，让模型退回去看截图、点鼠标，乍看像一场技术倒退。但两家的产品线偏偏都在往这条路上持续加注，说明两边都有硬论据。它决定的问题很实际：你自己的 agent 该在哪条车道上跑。
一、先立定义：把渲染后的 GUI 当全部接口
计算机使用智能体（Computer Use Agent，CUA）的定义只有三句话 (L7 p.2-8)：观察渲染后的图形用户界面（GUI）、执行动作、检查变化。
关键在「渲染后」三个字的排除力。DOM 树、API 响应、文件系统，它都看不到；它看到的，就是和人看到的同一批像素。
按宿主分三种形态：浏览器、桌面、移动。
循环叫 Observe-Reason-Act：截图进上下文 → 推理输出结构化动作（如 mouse.left_click [33,201]）→ 环境执行 → 再截图检查变化，任务完成后计算 reward (L7 p.2-8)。
注意动作的形态：带坐标的结构化指令，不是自然语言描述。
这条循环也预示了 CUA 的评估为什么自成一门学问。每一步可以量点没点中，整个任务可以量完没完成，两把尺子常给出相反的分数。那是下一篇详解的正题。
二、反方账本：慢和贵不是观感，是乘法
反方的账本 (L7 p.77) 一行写完：任务时间 ≈ 轮数 × 每轮时间。
GUI 车道的每一轮都捆绑三件事：截图、一次多模态推理、一次动作执行。三件事里，截图的像素是上下文里的大户。
轮数天然不会少：界面从不一次摊开全部信息，要点开、要滚动、要等加载。
更重的是长上下文的累积：历史截图越积越多，每一步都在加重 prefill 与生成 (L7 p.77)。
2017 到 2026 的基准演化，把这个成本结构越推越沉 (L7 p.9-15)。
- 合成小站期。MiniWoB (ICML 2017) 与 WebShop (NeurIPS 2022)，任务还停在合成小站。
- 自托管期。WebArena (ICLR 2024)、VisualWebArena (ACL 2024) 与 OSWorld (NeurIPS 2024)，开始自托管真实网站与完整桌面。
- 长尾期。2026 年，MyPCBench 把个人历史带进环境，CUA-World、Gym-Anything 直逼真实软件长尾。
环境越真实，每轮观察越贵、所需轮数越多。即便到了 GPT-6 Astra 时代 (2026-09)，能力强、速度快，但仍（非常）贵 (L7 p.9-15)。
一次调用返回结构化 JSON，几百 token 说清状态；错误信号是状态码；成本随调用次数线性走。
每轮 = 整屏截图 + 多模态推理 + 执行；错误信号要靠「再看一张截图」来判读；成本 = 轮数 × 每轮 prefill / 生成，且随历史累积越滚越重。
三、正方论据：Koh 的三条
顶级实验室图什么，Koh 的立场文 (2026-09-10, L7 p.15) 给了三条答案，没有一条押在快上。
- 最通用的接口。软件为人设计，人通过 GUI 使用软件；凡是人能用的软件，这条路线原则上都够得着，不必等厂商开 API。
- 长尾。API 与 bash 覆盖的是头部应用与自动化友好的操作；真实工作流里大量步骤发生在没有 API、没有 CLI 的地方，CUA 是唯一够得着那条长尾的车道。
- goldilocks 试验场。GUI 恰好把视觉接地 (grounding) 与长程多模态推理压进同一个闭环：比纯视觉任务多动作后果，比纯文本 agent 多像素证据。难度不至于无解，又远未解决，是锻造下一代模型的合适考场。
即便 Koh 的论据成立，剩余难关也还在：他的立场文直言五关未过 —— 速度成本、个性化 (GUM 2025)、基础设施与 UX、多智能体、安全隐私，讲义 What’s Remaining 段单列其中前四关 (L7 p.77-80)。本篇先攻第五关的暗面，因为它和通用接口这条论据分不开。
四、产品线走位与安全暗面
讲义 What’s Remaining 的 Infrastructure+UX 一页 (L7 p.79) 引用了第三代 Codex 后台 computer use，三代产品全表另见附录 (L7 p.85)。
| 时间 | 产品 | 关键设计 |
|---|---|---|
| 2024-10 | Anthropic computer use 公测 | 定下原语：截图 + click/type/scroll；官方口径 OSWorld 14.9% |
| 2025-01 | Operator | 敏感步骤交还用户（takeover）+ 监督模型 |
| 2026-04 | Codex 后台 computer use | 隔离会话、多 agent 并行、90+ 插件 |
三代产品各留下一个关键词。
- 原语。第一代定义了最小动作集。
- 交还。第二代承认 GUI 上有不可代劳的敏感动作。
- 后台。第三代把替你坐在屏幕前的 CUA 挪进隔离会话，当后台执行器跑、多 agent 并行，恰好绕开速度与 UX 两关。
但第五关的暗面比慢和贵更棘手。GUI 是为人眼设计的信道，而人眼会被骗。
VPI-Bench (ICLR 2026) 用 306 个用例证明：视觉提示注入 (visual prompt injection) 对 CUA 普遍有效，最高 51% 中招。系统提示防御收效甚微。
StepJack (2026) 接着展示多步间接注入怎么叠加：480 个多步用例测 6 个 SOTA CUA，中招率从 41.7% 涨到 72.9%。
API 车道里，注入面是受控的参数；GUI 车道里，页面上任何一块像素都是潜在的指令。
VPI-Bench 306 用例、CUA 最高 51% 中招；StepJack 把中招率从 41.7% 抬到 72.9%—— 多步任务给注入攻击付复利。系统提示防御收效甚微：GUI 越开放，可注入的面越大。
与本讲的连接
Koh 的通用接口、长尾、goldilocks 三条，解释的是实验室为什么押注；站主的实践立场则是：能走 API/CLI 就绝不截屏，CUA 是兜底车道而非首选。第二节的账本、第四节的攻击面，都反对把它当默认。
真要用，本地优先的三件套排在成功率之前：
- 确认门。敏感动作先问人；Operator 的 takeover 就是它的产品化形态。
- 可回滚。动作可撤销。
- 默认只读。读屏优先于动屏。
回到本讲，4a 的下一站是「蓝马克杯」示例：同一个任务，量动作、量结果、量过程会得出三种分数，那是下一篇详解《量什么：动作、结果还是过程》的正题。
4b 调转方向开训练线。这些截图 - 动作轨迹，就是 SFT 要写进权重的东西。
轮到你给自己的 agent 派活时，拿着任务清单逐条自查：它属于 API 的头部，还是 GUI 的长尾？
本节论文与规范
本节资料
- Introducing computer use（Anthropic） 博客入门官方引用
经典（2024-10）。第一个前沿模型级 computer use API 公测公告：模型看截图、输出 click/type/scroll 原语动作。官方口径 OSWorld 14.9%，CUA 产品化元年的起点。
经典（2024-10）。研究侧复盘：为什么做 CUA、训练如何组织，以及提示注入与误操作两类新攻击面的 ASL-2 评估。厂方一手视角，安全红线从第一天就内建于产品。
2026-04。后台 computer use：隔离后台会话、多 agent 并行、90+ 插件，任务跨度从天到周（L7 p.79 直接引用）。agent 从「盯着屏幕」转向「交付结果」。
- A Comprehensive Survey of Agents for Computer Use 论文2501.16150入门
经典综述（v3 更新至 2026-03）。87 个 agent、33 个数据集按感知-交互-规划三维分类法梳理，并总结六大研究缺口。本讲全部内容的地图与总目录，入门第一站。
2026-09-10 讲者立场文（L7 p.15）。GUI 是最通用的接口、长尾任务仍有价值、计算机使用是能力的 goldilocks 试验场；同时直言还剩五关未过。详解开篇引子。
- Introducing Operator（OpenAI） 博客入门官方引用
2025-01。Operator 跑在云端 VM 浏览器里：登录、支付、CAPTCHA 一律交还用户接管（takeover），另有独立监督模型盯异常动作。后并入 ChatGPT agent。
- StepJack 论文2608.06477前沿
2026 年。480 个多步间接注入用例测 6 个 SOTA CUA：中招率 41.7%→72.9%。多步任务里攻击面随步数放大，确认门与只读权限是最有效的缓解。
- VPI-Bench 论文2506.02456进阶
2025/2026（ICLR）。306 个视觉提示注入用例：把指令藏进网页图片与截图，测 CUA 会不会照做。最高 51% 中招，系统提示防御收效甚微——攻击面搬到了像素层。
AI 生成 · 仅供参考，与课程方无关。选中正文里的任何一段也能直接问我（解释一下 / 举个例子）。
本详解以 CMU 11-768 AI Agents (Fall 2026) 课程大纲为参考框架独立撰写，AI 辅助起草、人工抽审。 涉及的官方课件、论文与课程材料版权归原所有方，讲义为站内镜像、其余外链原文出处； 观点与文字（除标注引用外）为作者原创。