事故开场,框架接住:一门课的两面
讲次页导语给了两节分工与那条暗线,开场的现场感没有传到。本篇补齐:主讲人自己的事故、多久听说一次删库、课堂问答里那句没人能保证,以及范围与不可逆的两个校正。五起事故的完整清单属地威胁归因篇,这里只立问题。
一、开场:两个现场事故
7a 的开场白很直接 (字幕):agent 已经高风险,因为铺向全世界的速度快过了把安全问题想透的速度。这不是理论担忧,是正在发生的事故。
主讲人先自首。就在讲课当天早上,他自己的 agent 把他电脑上的全部历史对话删了,教室笑成一片 (字幕)。自家的课,自家的坑。
他补了一个频率:每隔两三个月,就会听说又一家公司误删整个生产数据库 (字幕)。五起真实事故的完整清单在威胁归因篇,从邮箱一路横跨到支付系统。
二、两问两答
课堂上有人问:怎么保证不出事?
主讲人的回答不绕弯:保证不了,大公司也照样出事 (字幕)。能做的是分层设防,把出事的概率与半径往小压。
范围也先划清。本讲只谈数字 agent,机器人另算,但威胁模型大体相通 (字幕)。
还有一层校正在不可逆。删生产库很糟,有备份就可恢复;代码库被泄漏到种子站,那才是真不可逆 (字幕)。担心要对着可逆性分配,不是对着新闻标题。
三、7b 换一个角度接住
下半场换成 Neubig 讲框架。7a 的副标题是限制 agent 能访问什么、能做什么,7b 的立场是这两句话本来就该是框架的默认设置,不该等事故来教。
于是两节合成一门课的两面:一面数事故、归威胁、搭防御栈;一面看生产级框架怎么把限制做进抽象里。
四、一条暗线
贯穿的暗线只有一条,讲次页导语加粗的那句:凡是要紧的规则,都必须放在 agent 控制之外。沙箱、凭据、监控、评测四层全都踩在这条线上。
保证不了不出事,这个诚实的开场就是五层防御栈的立项书。
本节论文与规范
本节资料
- OpenHands: An Open Platform for AI Software Developers as Generalist Agents 论文2407.16741入门官方引用
OpenHands(前 OpenDevin)平台论文:写代码+命令行+浏览网页统一行动空间,规范 agent 实现、沙箱安全执行、多 agent 协同、评测接入四大件;15 项基准(SWE-Bench Lite、WebArena、GAIA)、188+ 贡献者、MIT 协议。7b 全课学术锚点。
AI 生成 · 仅供参考,与课程方无关。选中正文里的任何一段也能直接问我(解释一下 / 举个例子)。
本详解以 CMU 11-768 AI Agents (Fall 2026) 课程大纲为参考框架独立撰写,AI 辅助起草、人工抽审。 涉及的官方课件、论文与课程材料版权归原所有方,讲义为站内镜像、其余外链原文出处; 观点与文字(除标注引用外)为作者原创。