指令与数据共用一根上下文：注入防御的三条路线怎么叠

提示注入 (prompt injection) 大概是 agent 安全里被讨论最多、也最容易被 “加一句系统提示就没事了” 打发掉的攻击。

L13 p.10 的解剖图给出完整病例，出处是 Cline postmortem 与 AgentDojo：用户任务完全合法，攻击者把指令藏进 issue 标题这类 agent 必须读取的外部内容。

agent 执行任务时顺从了这条指令，shell 命令最终落在真实系统上。

病根是结构性的：Transformer 的上下文里指令与数据天然同池，不可信文本进来后与用户指令无法区分，被当作指令对待。加一句系统提示治不了这个。

防御沿三条路线展开：提示工程、架构、训练。

一、路线一・提示工程：给数据围栏，压概率不给保证

Spotlighting(Microsoft Research, 2024) 的思路是不拦外部数据，只给数据挂牌：让模型分得清哪些是要处理的内容、哪些是要服从的指令。三个技术由轻到重。

• Delimiter（定界符）：用显式分隔符把不可信数据整块包起来。
• Marking（标记）：给外部内容的每一行都加前缀，防止内容中途自封指令。
• Datamarking（数据标记）：更狠，把数据自身的分隔符替换成随机记号，让注入文本连伪造结构的机会都没有。

效果在 GPT 系模型上（Microsoft Spotlighting，2024，见资料卡 m7-spotlighting）：攻击成功率从 >50% 压到 <2%，且几乎不伤正常任务性能。压得很低，但压不到零。

但要看清边界：<2% 是概率压制，给不了保证。它依赖模型自身的指令遵循 (instruction following) 纪律，换个不那么听话的模型，或遇到针对性的自适应攻击，数字就会回弹。所以它适合当第一道便宜的滤网。单独扛防线，不行。

二、路线二・架构：让不可信内容只能产出「值」

提示工程压概率，架构路线换思路：既然上下文里无法可靠区分指令与数据，那就别让被污染的数据有机会变成控制流 (control flow)。

CaMeL(Google DeepMind+ETH, 2025) 把 agent 劈成两半。特权规划器 (privileged planner) 决定做什么，控制流只在这里；非特权执行器 (unprivileged executor) 接触一切不可信内容。

执行器读到的外部文本至多变成一个值，比如一段要处理的字符串，永远变不成下一步做什么的决定。再配一个安全 LLM 做细粒度权限检查：这个值能不能写进这个文件、发给这个地址。

论文的核心主张是对自适应攻击者 (adaptive attacker) 具备可证明安全性质 (provable security)：不是测了很多攻击都没成功，而是结构上就不存在那条攻击路径。

SecureClaw(2026) 把同一思想落成双边界。读侧，对敏感数据的访问经可信网关 (trusted gateway) 中转，模型拿到的是不透明句柄 (opaque handle) 加有界摘要 (bounded summary)。看不见原文，也就泄不出去。

写侧，一切对外写入先产出 PREVIEW，只有受信执行器可以 COMMIT。被注入的模型再想直接把数据发出去，过不了这道闸。

架构路线的代价也直白：部署成本最高。CaMeL 要求重写 agent 框架，SecureClaw 要引入网关与提交协议。

utility 上，写操作多一步预览、读操作只见摘要，合法任务的摩擦真实存在。

三、路线三・训练：把「不受骗」练进权重

前两条路线一条压概率、一条锁控制流，训练路线 (L13 p.13-17) 的逻辑是第三种：模型自己是最后一道关卡，那就用训练把识别并拒绝注入变成能力。起点是红队 (red team)。

人工红队 (p.14) 在受控测试里让测试者诱使 agent 违规。Gray Swan 的 Arena 模拟医疗场景，诱导 agent 读取另一位病人的记录，agent 确实照做了（引 Zou 等 ART 图 2）。这条泄露是实测出来的。

自动红队 (p.15) 再用 PAIR（Chao 等）把攻防自动化：

SFT 侧 (p.16)，Nemotron 3 Super 报告 §3.1 的管线：先判定该拒绝 (refuse) 还是该帮助 (help)→ 生成回复 → 过滤不安全的 → 只留安全样本进训练集。示例中模型拒绝帮人窃取信用卡，并转而提供防护建议，拒绝的同时把任务引回正道。

RL 侧 (p.17, §3.2.1-3.2.3) Nemotron 同时打两个方向：

• 抗攻击。奖励守规回复；用自动攻击找更难变体，专门用骗过早期模型的变体来训练。
• 避免误拒(over-refusal)。把合法的安全请求也纳入训练、奖励有用的回答，并将安全任务与其他域混合，防止模型见什么拒什么。

这条路线的工业上限看 Anthropic 的浏览器注入防御(2025-11-24)：RL 训练在模拟网页内容注入的环境里跑，配不可信内容分类器，再加规模化红队与 Arena 式挑战，三件齐上。

在内部 Best-of-N 自适应攻击者、每环境 100 次尝试的评测下，攻击成功率降到 1%。官方紧接着补一句：「1% 仍是有意义的风险」。训练路线给不出零风险，这是目前最接近可部署的强防线。

四、怎么叠：一张对比与两条警示

三条路线拆完，剩下的问题是怎么叠。

与本讲的连接

本篇下钻 7a（官方 Lecture 13，Agent Safety）的 L13 p.10-17：p.10 的注入解剖展开成三道防线，p.13-17 接上 Nemotron 的训练配方与 Anthropic 的工业上限。

八张资料卡各就其位：m7-spotlighting 是路线一三技术的出处，m7-camel、m7-lethal-trifecta 与 m7-secureclaw 撑起路线二的设计哲学与落地。

路线三与基准侧：m7-nemotron-3 与 m7-anthropic-browser-injection 给 SFT/RL 配方与浏览器场景实战，m7-injecagent 是被审计的经典基准、m7-injection-firewalls 提供基准修正的警示。

跨讲连读：第 4 讲的计算机操作 agent 是浏览器注入的主战场，Anthropic 那篇就是为这个场景造的防御；第 6 讲的 agentic RL 系统是把模拟注入环境规模化跑起来训模型的基础设施。

人工红队、自动红队、SFT、RL—— 四步链条，从找出漏洞一路走到把拒绝注入练进权重。