工具结果注入攻防：当返回值开始「说话」

用户让 agent 总结今天的邮件，agent 转头把一封邮件的全文发去了外部地址。指令就埋在那封邮件的正文里，是写给模型看的。恶意指令不需要碰你的输入框，它就藏在 agent 自己读回来的数据里。

这是 tool use 与生俱来的攻击面。工具让 agent 能碰到外部世界；世界也多出一条反过来对模型说话的通道。网页、邮件、API 返回值、文件内容，agent 每调用一次工具，就把一批无法验证来源的文本请进了自己的上下文。

这件事在 slides 里只占一页，位置是评测页的 Safety 维度。再往深处，就是课程的 7a Agent Safety 讲次。

攻击面：返回值里的第二张嘴

奠基工作来自 CISPA 的 Greshake 等人：Not what you’ve signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection（AISec@ACM CCS 2023）。

论文命名并系统展示了间接提示注入：把指令埋进工具结果，网页里的隐藏文本、邮件正文、检索返回的摘要，等着某个正在使用工具的 agent 读到并照做。

这不只是构造出来的玩具场景。论文对真实的 LLM 集成应用演示了端到端的接管。

攻击链条画出来并不复杂：

论文留下的关键认知是结构性的：工具结果在模型眼里，与用户指令没有本质的信任级差异，不妨称作「上下文平权」。

你在 harness 侧分明标好了 system、user 与 role 为 tool 的消息，但经 chat template 拼接之后，模型看到的是同一条文本流。

邮件正文里的系统通知，与用户亲手敲出来的指令，在注意力面前一律平等。数据与指令的边界，只存在于人类读者的想象里。

放进一条轨迹里看更直观：

用户全程只说了一句「总结邮件」。从 Thought 那一行起，循环还在照常运转，目标却已经不是用户的了。

机制层为什么挡不住

本讲学过的机制防线全都到场，却全都拦不住。

call_id 配对保证的是观测配得上调用。上面那条 send_mail 的观测确实属于那次调用，配对严丝合缝。可被劫持的是决定下一次调用什么的那一步，配对机制对此无感。

JSON Schema 校验保证参数合法。单独看这条被劫持的调用：

{
  "role": "assistant",
  "tool_calls": [{
    "id": "call_02",
    "function": {
      "name": "send_mail",
      "arguments": "{\"to\": \"security-verify@example.com\", \"body\": \"（邮件全文）\"}"
    }
  }]
}

to、body 都是合法字符串，类型全对、必填全在，schema 直接放行。

注入发生在语义层：值合法、内容恶意。schema 只检查值长什么样，从不检查内容想干什么。

评测侧是同样的错位。BFCL 的 robustness 象限量的是幻觉与格式敏感，并不覆盖注入，安全评测是独立维度。

slides 把它单列在评测页的 Safety 维度（slides L2 p.55），检查的是策略 / 权限 / 副作用、对抗与后果性动作。划的就是这条边界。格式鲁棒性满分，不妨碍 agent 被一封邮件拐走。

防御层：把「能被注入」当设计前提

语义层无法根治，对策就只能落在工程结构上。Simon Willison 的 Prompt Injection Design Patterns（2025-06-13）是目前最务实的清单。每条守则都配了完整可复现的例子，四条守则加一条底色：

双 LLM 隔离（dual LLM）展开成图，就是权限隔离 + 人工闸门的完整结构。

特权模型负责规划，永远不接触不可信内容；隔离模型可以读工具结果，手里没有高危权限。就算它被注入劫持，攻击者拿到的也只是一个无权限的模型。

底色是 Willison 的定性：把能被注入当作设计前提，而不是一个可修的 bug。

顺着这个前提，MCP 详解篇里的凭证代理是同一思路的结构化落地。凭证留在代理层、不进模型上下文，把爆炸半径再收窄一截。

与本讲的连接

本篇的每一层，都对得上讲次页的一块：

• 评测页的 Safety 检查单（策略 / 权限 / 副作用、对抗与后果性动作，slides L2 p.55），是本文防御层的提纲；
• 工具调用板块的 call_id 配对与 JSON Schema 校验，解释了语法层防线为何无辜失效；
• BFCL 的 robustness 象限只量幻觉与格式敏感，划清了格式鲁棒性与安全的评测边界；
• MCP 详解篇的凭证代理则与双 LLM 隔离同源，都是用结构而非提示词缩小爆炸半径。

下一封恶意邮件进来时，防线在哪一层？这个问题，7a Agent Safety 讲次接着答。