跳到主要内容
SecondHome

两场换挡:剥掉 API,再问行为从哪来

6 分钟入门4aL7 ↗L8 ↗录像 ↗支撑材料 1 篇

讲次页导语说第 4 讲是课程换挡点,换的是什么挡没有展开。本篇补齐:4a 把接口剥到只剩屏幕与键鼠,难度拉满给能力篇收尾;4b 调头开训练线,追问行为从哪来。客座讲师 JY Koh 的来路顺手把前三讲的一条暗线接上。读完你知道这两节为什么放在同一讲里。

一、客座讲者与他的来路

第 4 讲的第一节课是客座。开场介绍用了两分钟:JY Koh,Fried 的博士生,来 CMU 前在 Google Research,读博间隙还回产业界带了 Meta TBD 的 computer use 团队一年半(字幕)。

这不是一位普通讲者。第三讲委派篇的 MACU,一作就是他;课程后面的 Search 专场还是他。听他讲 CUA 的地基,等于提前见了后两场的主角。

二、第一场换挡:剥掉 API

CUA 的定义一句话说完:输入是截图,输出是人用的那套动作,点击、滚动、滑动、键入(L7 开篇)。模型站在与人完全相同的接口上干活。

讲义的贯穿例子是买一只蓝色马克杯。任务、截图、一句 I see a blue mug 的推理、一个格式化点击动作,循环往复。这个例子在后面反复出场,价值账与三把尺子的详解都拿它开刀,这里只留个脸熟。

为什么说这是能力篇的收尾考试?前三讲的工具、上下文、规划,全都默认有 API 或结构化接口可调。把接口剥到只剩屏幕,等于把所有脚手架一次拆光,模型还能不能干活,是难度拉满的检验。

三关摆在明面:视觉定位要点得准,动作方言要选得对,长程误差要扛得住。三关各有一篇详解下钻,从像素到动作篇、长时程税篇接力。

三、第二场换挡:从行为到来源

第二节调头。前三讲回答的是 Agent 已经会什么,从这里开始问这些行为是从哪来的。

第一条路径偏偏最朴素:监督微调,把录下的轨迹写进权重。4b 的副标题就是在说这件事,原句见讲次页导语。

两节放进同一讲不违和。一个讲行为长什么样,一个讲行为怎么学,首尾相接;而学会操作电脑的第一条路径,就是看着人的示范照做。

于是屏幕上那串截图与点击,在 4a 里是评测对象,到 4b 里变成了训练数据。同一批轨迹,两种身份。

四、一条暗线在此接头

课程线索在这里交叠。介绍里说他是这一域最有影响的几个基准的作者之一(字幕);Odysseys 数据集第三讲已露面,一作 MACU 在委派篇当过正方证据;他自己还欠一场 Search 课。

对听者来说,这一讲既是能力篇的终考,也是训练篇的预告片。收束篇会把两节的账对齐,清单里每一条都能在中间八篇找到属地。

本节论文与规范

本节资料

  • 经典综述(v3 更新至 2026-03)。87 个 agent、33 个数据集按感知-交互-规划三维分类法梳理,并总结六大研究缺口。本讲全部内容的地图与总目录,入门第一站。

AI 生成 · 仅供参考,与课程方无关。选中正文里的任何一段也能直接问我(解释一下 / 举个例子)。

本详解以 CMU 11-768 AI Agents (Fall 2026) 课程大纲为参考框架独立撰写,AI 辅助起草、人工抽审。 涉及的官方课件、论文与课程材料版权归原所有方,讲义为站内镜像、其余外链原文出处; 观点与文字(除标注引用外)为作者原创。