从像素到动作：看不准的病与动作方言的分裂
CUA 的建模内核其实朴素：把 goal、截图、动作交错铺成一条序列，让因果 Transformer 在末尾吐出下一个动作。难在两头。读屏：千万像素里回归一个 20×20 的按钮，Set-of-Mark 把坐标回归降级为点几号的离散选择，ScreenSpot-Pro 干脆把 grounding 本身做成基准；写回：GPT-6 Astra、Opus 5、Gemini 3.8、Qwen 3.8 各说各的动作方言，「复现是噩梦」。本篇从 token 序列走到 UI-TARS 与 MolmoWeb 的纯视觉反击，再算清坐标、编号、代码在精度、可组合性、可复现之间的三笔账。
伴读把 GUI 的难处总结成三关：看不准、说不清、走不远。前两关其实共享同一个结构：观察侧与动作侧各有方言，观察有截图、HTML、无障碍树之分，动作有坐标、编号、代码之别。
模型必须从像素里读出语义，再把决定写回屏幕。本篇沿讲义 L7 p.47-57 把这两侧的机制走到底。
建模主线：把「点鼠标」写进下一个词预测
先看讲义 L7 p.47-56 的建模主线。策略是一个视觉语言模型（Vision-Language Model, VLM），在交错历史上做下一步预测：goal+screenshot→action→screenshot→…→action t。
动作空间收敛为四个动词：click、type、tool、stop，点击、键入、调工具、宣布完成。
关键的建模决定是把视觉与动作历史交错铺开。第 t 步的策略以过往全部进度为条件：上一步点了什么、屏幕因此变成了什么样，直接进入上下文，不被压缩成一句摘要。
讲义 L7 p.56 给出了序列的样子：INSTRUCTION｜VISUAL 0｜ACTION 0｜VISUAL 1｜… 喂给一个因果 Transformer（causal Transformer），在末尾读出 action t。
文本部分照常走词表；截图则先过视觉编码器再过投影层，出来的视觉 token 是连续 embedding，不是词表 ID。
这套管线对像素与文字的处理「不同源但同位」：都占序列的一席、都参与注意力，只是出身一个连续、一个离散。
看不准的病：千万像素里的 20×20 按钮
框架有了，病灶在哪？伴读一句话说尽：千万像素里找 20×20 的按钮。坐标回归 (coordinate regression) 要求模型输出一对连续数字，差几个像素点到的就是另一个世界。两副药，方向相反。
药一：Set-of-Mark Prompting（SoM，微软 2023）。先把截图里的可交互元素框出来、叠上编号，模型的输出从坐标回归降级为离散选择：点 7 号。
GPT-4V 配上 SoM，在 RefCOCOg 上零样本就超过在此全量微调的 SOTA。不改一个权重，只改问题怎么问，连续定位变成了选择题。
药二反过来：治不了病，就把病做成尺子。ScreenSpot-Pro 让视觉定位（visual grounding）本身成为基准：在专业高分辨率 UI 上找指定元素，当时最强模型只有 18.9%，零训练的 ScreenSeekeR 把数字推到 48.1%。找按钮从工程细节升格为独立赛道。
在千万像素里回归一对连续坐标，差几个像素就是另一个世界；换一次分辨率，答案全部重算。
先把可交互元素框出编号叠在截图上，模型只需说出「点几号」—— 连续定位降级为离散选择，零样本即超全量微调 SOTA。
纯视觉的反击：UI-TARS 与 MolmoWeb
如果说 SoM 是 “给模型戴眼镜”，纯视觉路线想证明的是：练好眼睛本身，可以不戴眼镜。
UI-TARS（字节 Seed，2025）做了三件事。
- 统一动作空间：跨平台收敛到同一套动词。
- System-2 推理（system-2 reasoning）：慢思考，先推演再出手。
- 反思式在线训练（reflective online training）：把模型自己跑出来的错误轨迹改写成从错误中恢复的示范，再拿去训练。
第三件值得停一下。伴读说 SFT 的死穴是分布偏移：示范几乎全落在正确状态上，恢复行为学不到。UI-TARS 把犯错后的世界本身变成训练数据。
成绩单：OSWorld 24.6、AndroidWorld 46.6，发布当时超过 Claude 与 GPT-4o。纯视觉路线立住了。
MolmoWeb（Ai2，2026）把这条路线推到开源侧：纯截图输入，不取 HTML、不取无障碍树。4B 与 8B 两个尺寸全部开源，在 WebVoyager 上以 pass@4 从 78.2% 推到 94.7%。
纯视觉的吸引力在通用性：任何有屏幕的地方都是它的辖区，不依赖每个应用好心暴露结构化接口。
这与 SoM 并不矛盾：前者练模型的眼睛，后者给模型的提示戴眼镜。
动作方言的分裂：同一块屏幕，六种写法
观察侧各家越来越像，都以截图为主；动作侧却越走越远。讲义 L7 p.57 摆出前沿 CUA 对比表：观察相似、动作不同，schema 各异。讲义的评语是「复现是噩梦」。
| 模型 | 动作怎么写 |
|---|---|
| GPT-6 Astra | 直接生成 Python（PyAutoGUI），或走原生 computer tool |
| Fable / Opus 5 | tool_use：left_click + input:{coordinate:[x,y]} |
| Gemini 3.8 Flash | functionCall，坐标归一化到 0–999 |
| Qwen 3.8 | 应用侧定义 GUI schema，XML 风格 tool_call |
| Muse Spark | 脚本与 GUI 动作混合 |
| Kimi K3 | tool_calls + JSON 参数 |
方言分裂不止在动作。讲义在 L8 p.31 点了观察侧的同类问题：同一个网页，有的数据集存 HTML，有的存无障碍树（accessibility tree，a11y tree）。
两相叠加，一条轨迹换个执行环境就跑不起来，榜单数字之间的比较也随之失真。
讲义 L8 p.32-33 给的互操作方向是：用统一表示（ADP）存页面与动作，落地时按目标 harness 渲染成对应方言，编译器中间表示的思路。
讲义 L7 p.57 的判断：前沿 CUA 观察侧趋同、动作侧各异。比较两份基准得分之前，先确认它们点屏幕的动词与参数是否同源：坐标位数、归一化区间、工具调用格式，任何一处方言差异都可能让数字不可比。
收束成一笔账：坐标、编号、代码三种动作表示，在精度、可组合性、可复现之间各有代价。
| 动作表示 | 精度 | 可组合性 | 可复现 |
|---|---|---|---|
| 坐标 click (x,y) | 连续回归，千万像素里差几点就是另一个世界 | 单步原语，串任务全靠模型自己 | 换分辨率即漂移（Gemini 以 0–999 归一化自救） |
| 编号「点 7 号」 | 降为离散选择，零样本即超微调 SOTA | 上限是标注器框得出什么 | 编号每帧重排，回放需重算 |
| 代码 / 脚本 | 语义级定位，绕开像素 | 最强：循环、条件、可复用 | 文本可 diff 可版本化，但绑定应用定义的 schema |
视觉本身的分量，VisualWebArena 给了最干净的度量：其中 25.2% 的任务必须靠图像输入才能完成。剥掉截图，这些任务连被表达的机会都没有。
与本讲的连接
本篇下钻的是伴读三关里前两关的机制面。看不准从建模、病理走到两副药；说不清落进 L7 p.57 的对比表。伴读说动作空间是连续坐标与离散类型的混合体，那张表就是这句话 2026 年的实况。UI-TARS 把错误轨迹改写成恢复示范，补的是伴读 SFT 一节留下的那个洞。
落到实践：接一个 agent，先问它说哪种动作方言、坐标归一化到几位；存自己的轨迹日志用统一表示，别锁死在某个 harness 的方言里，否则今天的数据明天就复现不了。
下次看到两个 CUA 榜单打架，先别急着问谁更强。先问一句：它们用同一套动作 schema 了吗？
本节论文与规范
本节资料
- MolmoWeb 论文2604.08516前沿官方引用
2026 年 Ai2 全开路线。MolmoWebMix 数据集（3.6 万人工 + 10.5 万合成），训练出 4B/8B 全开源纯视觉 Web agent。WebVoyager 从 78.2% 提到 94.7%（pass@4）。
- ScreenSpot-Pro 论文2504.07981进阶官方引用
2025 年 grounding 专项基准（L7 p.20-21）。1,581 张来自专业软件的高分辨率截图，要求模型精确点中目标元素。发布时最强模型仅 18.9%，ScreenSeekeR 检索增强后拉到 48.1%——「看不准」第一次被精确量化。
- Set-of-Mark Prompting（SoM） 论文2310.11441入门
经典·高引（ICLR 2024）。给截图元素叠加编号标记，把「输出像素坐标」降维成「选编号」的离散选择；GPT-4V+SoM 在 RefCOCOg 零样本超过全量微调 SOTA。此后截图加可交互标记成为 CUA 界面的通用做法。
- UI-TARS 论文2501.12326进阶官方引用
2025 年字节 Seed 的纯截图原生 GUI agent：统一动作空间 + System-2 推理 + 反思式在线训练三位一体，不依赖 DOM 或无障碍树。OSWorld 24.6、AndroidWorld 46.6，模型与数据全开源——纯视觉路线的分水岭。
- 深入解读字节跳动 UI-TARS（掘金） 文章入门
2026 中文。成体系的 UI-TARS 深度解读：从原理、System-2 推理、反思式训练讲到 Agent TARS 实战。中文生态少见的完整长文，读原论文前的热身捷径。
- VisualWebArena 论文2401.13649进阶官方指定
官方指定 reading（L7 p.28）、ACL 2024。910 个任务继承 WebArena 的程序化终态检查，其中 25.2% 必须依赖图像输入才能作答——看图不是锦上添花，而是任务本身的组成部分。首个把视觉能力内建于验收的网络 agent 基准。
AI 生成 · 仅供参考，与课程方无关。选中正文里的任何一段也能直接问我（解释一下 / 举个例子）。
本详解以 CMU 11-768 AI Agents (Fall 2026) 课程大纲为参考框架独立撰写，AI 辅助起草、人工抽审。 涉及的官方课件、论文与课程材料版权归原所有方，讲义为站内镜像、其余外链原文出处； 观点与文字（除标注引用外）为作者原创。