跳到主要内容
SecondHome

事故开场,框架接住:一门课的两面

4 分钟入门7aL13 ↗L14 ↗录像 ↗支撑材料 1 篇

讲次页导语给了两节分工与那条暗线,开场的现场感没有传到。本篇补齐:主讲人自己的事故、多久听说一次删库、课堂问答里那句没人能保证,以及范围与不可逆的两个校正。五起事故的完整清单属地威胁归因篇,这里只立问题。

一、开场:两个现场事故

7a 的开场白很直接 (字幕):agent 已经高风险,因为铺向全世界的速度快过了把安全问题想透的速度。这不是理论担忧,是正在发生的事故。

主讲人先自首。就在讲课当天早上,他自己的 agent 把他电脑上的全部历史对话删了,教室笑成一片 (字幕)。自家的课,自家的坑。

他补了一个频率:每隔两三个月,就会听说又一家公司误删整个生产数据库 (字幕)。五起真实事故的完整清单在威胁归因篇,从邮箱一路横跨到支付系统。

二、两问两答

课堂上有人问:怎么保证不出事?

主讲人的回答不绕弯:保证不了,大公司也照样出事 (字幕)。能做的是分层设防,把出事的概率与半径往小压。

范围也先划清。本讲只谈数字 agent,机器人另算,但威胁模型大体相通 (字幕)。

还有一层校正在不可逆。删生产库很糟,有备份就可恢复;代码库被泄漏到种子站,那才是真不可逆 (字幕)。担心要对着可逆性分配,不是对着新闻标题。

三、7b 换一个角度接住

下半场换成 Neubig 讲框架。7a 的副标题是限制 agent 能访问什么、能做什么,7b 的立场是这两句话本来就该是框架的默认设置,不该等事故来教。

于是两节合成一门课的两面:一面数事故、归威胁、搭防御栈;一面看生产级框架怎么把限制做进抽象里。

四、一条暗线

贯穿的暗线只有一条,讲次页导语加粗的那句:凡是要紧的规则,都必须放在 agent 控制之外。沙箱、凭据、监控、评测四层全都踩在这条线上。

保证不了不出事,这个诚实的开场就是五层防御栈的立项书。

本节论文与规范

本节资料

  • OpenHands(前 OpenDevin)平台论文:写代码+命令行+浏览网页统一行动空间,规范 agent 实现、沙箱安全执行、多 agent 协同、评测接入四大件;15 项基准(SWE-Bench Lite、WebArena、GAIA)、188+ 贡献者、MIT 协议。7b 全课学术锚点。

AI 生成 · 仅供参考,与课程方无关。选中正文里的任何一段也能直接问我(解释一下 / 举个例子)。

本详解以 CMU 11-768 AI Agents (Fall 2026) 课程大纲为参考框架独立撰写,AI 辅助起草、人工抽审。 涉及的官方课件、论文与课程材料版权归原所有方,讲义为站内镜像、其余外链原文出处; 观点与文字(除标注引用外)为作者原创。