两场换挡:剥掉 API,再问行为从哪来
讲次页导语说第 4 讲是课程换挡点,换的是什么挡没有展开。本篇补齐:4a 把接口剥到只剩屏幕与键鼠,难度拉满给能力篇收尾;4b 调头开训练线,追问行为从哪来。客座讲师 JY Koh 的来路顺手把前三讲的一条暗线接上。读完你知道这两节为什么放在同一讲里。
一、客座讲者与他的来路
第 4 讲的第一节课是客座。开场介绍用了两分钟:JY Koh,Fried 的博士生,来 CMU 前在 Google Research,读博间隙还回产业界带了 Meta TBD 的 computer use 团队一年半(字幕)。
这不是一位普通讲者。第三讲委派篇的 MACU,一作就是他;课程后面的 Search 专场还是他。听他讲 CUA 的地基,等于提前见了后两场的主角。
二、第一场换挡:剥掉 API
CUA 的定义一句话说完:输入是截图,输出是人用的那套动作,点击、滚动、滑动、键入(L7 开篇)。模型站在与人完全相同的接口上干活。
讲义的贯穿例子是买一只蓝色马克杯。任务、截图、一句 I see a blue mug 的推理、一个格式化点击动作,循环往复。这个例子在后面反复出场,价值账与三把尺子的详解都拿它开刀,这里只留个脸熟。
为什么说这是能力篇的收尾考试?前三讲的工具、上下文、规划,全都默认有 API 或结构化接口可调。把接口剥到只剩屏幕,等于把所有脚手架一次拆光,模型还能不能干活,是难度拉满的检验。
三关摆在明面:视觉定位要点得准,动作方言要选得对,长程误差要扛得住。三关各有一篇详解下钻,从像素到动作篇、长时程税篇接力。
三、第二场换挡:从行为到来源
第二节调头。前三讲回答的是 Agent 已经会什么,从这里开始问这些行为是从哪来的。
第一条路径偏偏最朴素:监督微调,把录下的轨迹写进权重。4b 的副标题就是在说这件事,原句见讲次页导语。
两节放进同一讲不违和。一个讲行为长什么样,一个讲行为怎么学,首尾相接;而学会操作电脑的第一条路径,就是看着人的示范照做。
于是屏幕上那串截图与点击,在 4a 里是评测对象,到 4b 里变成了训练数据。同一批轨迹,两种身份。
四、一条暗线在此接头
课程线索在这里交叠。介绍里说他是这一域最有影响的几个基准的作者之一(字幕);Odysseys 数据集第三讲已露面,一作 MACU 在委派篇当过正方证据;他自己还欠一场 Search 课。
对听者来说,这一讲既是能力篇的终考,也是训练篇的预告片。收束篇会把两节的账对齐,清单里每一条都能在中间八篇找到属地。
本节论文与规范
本节资料
- A Comprehensive Survey of Agents for Computer Use 论文2501.16150入门
经典综述(v3 更新至 2026-03)。87 个 agent、33 个数据集按感知-交互-规划三维分类法梳理,并总结六大研究缺口。本讲全部内容的地图与总目录,入门第一站。
AI 生成 · 仅供参考,与课程方无关。选中正文里的任何一段也能直接问我(解释一下 / 举个例子)。
本详解以 CMU 11-768 AI Agents (Fall 2026) 课程大纲为参考框架独立撰写,AI 辅助起草、人工抽审。 涉及的官方课件、论文与课程材料版权归原所有方,讲义为站内镜像、其余外链原文出处; 观点与文字(除标注引用外)为作者原创。