量什么：动作、结果还是过程——尺子如何说谎

马克杯任务，agent 每一步都点中了目标。蓝色款中途缺货，它转手把白色款加进购物车，静态基准照样给高分。步子全对，任务没成。

评估 (evaluation) 的第一课：先分清量的是动作、结果还是过程，再谈分数。层级选错，高分比低分更误导。

一、量的是哪一层：Action、Outcome、Process

怎么给会点鼠标的模型打分？L7 p.17 把这个问题拆成三个层级，马克杯任务是公共例题。

• Action（动作）：这一下是否落在蓝色马克杯上。
• Outcome（结果）：最后购物车里是不是那只对的商品，靠状态检查或证据评判来回答。
• Process（过程）：有没有遵守约束，比如不结账、不做多余修改。

同一串动作，三层可以独立给分，也常常互相打架。步步点得准的 agent，可能在最后一步把缺货的蓝色款悄悄换成白色款：动作层近乎满分，结果层不及格。

“A correct step is not a completed task”，正确的一步不等于完成的任务 (L7 p.19-23)。

二、静态步匹配：量的是模仿，不是完成

静态评估 (static evaluation) 的机制极简 (L7 p.19-23)：给一张截图、一条参考规则，模型输出的点击坐标 (x,y) 落在真值目标框内，该步得分。逐步累加，就是一份看起来很干净的分数。这份干净只覆盖步子，不覆盖任务。

Mind2Web (NeurIPS 2023) 评了 2,350 个任务、137 个网站，评法是离线动作匹配 (action matching)。真值存的是「CLICK CAR」这样的下一动作标签，预测与标签对上即得分。整套评估离线可跑，复现成本近乎为零。它教给社区的教训是：下一动作模仿≠任务完成。

ScreenSpot-Pro (2025) 把 grounding（把指令落到屏幕坐标）升格为专项基准：1,581 张专业级高分辨率截图、23 个应用、3 个操作系统，每条指令对应唯一真值目标框，Blender 示例为 (417,132)–(576,152)。

专业软件的 UI 密度高，点中目标本身就值得单独量。最强模型最初的成绩与 ScreenSeekeR 零训练提上去的读数，见同讲 pixel-to-action 篇，那里有全量数字。

三、程序化终态检查：查环境状态，不查台词

程序化终态检查 (L7 p.25-28) 把判分写成可执行断言 (assertion)：任务结束后查环境状态，全部满足给 reward 1.0。

# 买蓝色马克杯：对的结果 + 预算内 + 不许下单
reward = 1.0 if (
    cart.item == "blue_mug"   # Outcome：对的结果
    and cart.price < 20       # Outcome：预算内
    and orders.count == 0     # Process：没有结账
) else 0.0

可重复、精确、不问中间过程。轨迹怎么绕都行，环境说了算。

代价在覆盖面。断言只覆盖测试写到的条件，没写到的错误一概放行。

WebArena (ICLR 2024) 是这条路线的工程范本：812 个任务架在 4 个自托管域名上，全部用功能成功检查 (functional success checks) 验收，查环境状态，不查轨迹。读数悬殊。GPT-4 智能体 14.41%，人类 78.24%。

两个续作把它推向更宽的屏幕。VisualWebArena 扩到 910 个任务，其中 25.2% 必须靠图像输入才能解。视觉不只是输入模态，它改变了哪些任务可被表达。

AndroidWorld (ICLR 2025) 面向手机：116 个任务族经参数化可生成无限实例，以系统状态给 reward，天然抗背题。

四、live 网站与 LLM 评判：真实性换走了可复现性

自托管环境再逼真也是布景。live 评估 (L7 p.29-33) 把 agent 放上真实网站：环境会漂移，没有真值框可对，离线那套对坐标的判分法先失效了。

判分只能交给 LLM/VLM 评判 (LLM-as-judge)：给评分量规 (rubric) → 收集证据 → 判分，且必须先对人类标注校准，校准不过关的 judge 没有报分资格。

WebVoyager：643 个任务、15 个 live 网站，judge 与人类一致 85.3%。Online-Mind2Web：300 个任务、136 个 live 网站，WebJudge 与人类一致 85.7%。它更大的贡献是结论：拿 live 复测离线基准上的高分 agent 后发现，既有离线基准严重高估了进展。

真实性上升，可复现性下降 (L7 p.29-33)，而且 judge 的质量本身成了分数的一部分：你报的不再是 agent 的成功率，而是 agent × judge 这个乘积。

最后兜底的是人：PASS/FAIL 冲突交人工复核，用证据仲裁。agent 贴出下单成功的订单确认页，而任务约束禁止结账，证据确凿，判 FAIL。

与本讲的连接

伴读第二节「怎么给『会点鼠标的模型』打分」给出骨架读数，本篇补全量论证。同讲开篇「CUA 图什么」回答为什么值得把屏幕当接口，本篇回答怎么知道它真做成了。

下一份榜单甩过来，先拿四句判据挑尺子 (L7 p.17-33)：

• 测模仿，用静态步匹配。
• 测完成，用程序化终态检查。
• 测守规，用过程检查。
• 上 live，先校准 judge。

六张资料卡的分工：m4-webarena、m4-visualwebarena、m4-androidworld 是网页与手机屏幕上的程序化终态检查，m4-webvoyager、m4-illusion-progress 是 live+judge 的两步（后者顺手拆穿了离线高估），m4-screenspot-pro 是 Action 层的 grounding 专项尺。