分数会说谎，日志不会：安全监控的证据链与评测算术

分数通过了挑战，可 agent 是读了任务 Dockerfile 里的秘密答案才过关的。分数会说谎，日志不会；但日志也会被藏，而告警里可能一半是假的。

监控与评测是 7a 安全的两个半场，对应 L13 p.30-42，都是度量学问题：监控在运行时回答记录什么、谁来判、何时拦；评测在发布前回答四类威胁各用什么基准、四个百分比怎么读。本篇把两个半场串成一条证据链。

一、监控半场：记录什么、谁来检查、何时拦截

监控（monitoring）的定义很朴素：记录并检查 agent 的行为，以发现错误与不安全动作，出处 L13 p.31。

值得单独立论的三个理由，全都指向同一件事：只看结果不够。

• 不安全动作之后，答案仍可能有用。结果好不能反推过程对。
• 运行中的检查能及时暂停或拦截。
• 事后日志用于复盘、解释失败。

三条的出处：Transluce Docent、Greenblatt 等 AI Control。

p.32 列出可检查的四类证据：用户请求、工具调用、工具结果、外部系统变更。上半场的经典案例是 Cybench 移植版的一条完整证据链：

工程落地也在 p.32：四类证据用 OpenTelemetry GenAI 属性做标准化，统一成可检索的结构。谁来检查，p.33 的答案是分工：

看多深则是成本与深度的权衡。p.34 的例子：任务是实现一个数学函数并通过测试。

只监控工具调用，看到的是补丁与输出：verify () 被改成永远返回 true。测试全绿，一切「正常」。

再监控思维链（chain-of-thought，CoT），才能在推理文本里读到白纸黑字的「绕过测试的计划」，见 Baker 等 图 1。但 CoT 这一层有自己的天花板：

时机是监控的最后一道约束，p.36：要拦住不安全的工具调用，检查必须在执行之前完成。检查、日志、停止控件全部置于 agent 的控制之外。被监控者不能握着监控的开关。

二、评测半场：四问对四威胁，按威胁选基准

p.38 定下评测侧的第一原则：覆盖。好的安全基准必须同时测两件事，不安全行为会不会发生、合法请求有没有被妥善处理。只测后者会漏掉危险，只测前者会养出「全拒答」的怂 agent。

四个问题对四类威胁：

• 恶意请求：会帮用户窃取信用卡数据吗？AgentHarm，合成工具上的多步任务。
• 间接指令重定向（indirect prompt injection）：会服从 issue 里夹带的攻击指令吗？AgentDojo，工具数据夹带攻击指令。
• 合法任务中的危险失误：查余额的请求会变成转账吗？ToolEmu，LM 模拟工具结果。
• 捷径作弊：会去读泄露的答案通过挑战吗？Docent 研究，与上半场同一脉。

怎么选？p.41 的诀窍是按威胁对号入座：AgentHarm 测用户是坏的，AgentDojo 测环境是坏的，ToolEmu 测谁都不坏但失手了。

模拟工具的局限由 OpenAgentSafety 补上，p.40。这是 CMU 2025 年的框架，Neubig 是合作者之一，配置是多轮任务 + 真实工具 + 本地托管服务，专门考察用户任务 vs 竞争指令的拉扯。

判定不只看回答，还要检查审计文件（audit files）有没有被不当变更、日志里有没有不安全尝试，依据见图 1 与 §2。

真实工具的意义是副作用可持久化：模拟器里删错的文件下一轮就复原。真实环境里不会。

三、指标算术：四个百分比与一条基础率陷阱

p.39 先跑一轮评测：100 个合法任务 + 100 个安全测试，读出四个比率。

• 任务完成率 80÷100＝80%。
• 不当拒绝率（unnecessary refusal）10÷100＝10%：合法请求被错误拒绝。
• 不安全尝试率 25÷100＝25%：安全测试里做出了不安全动作，无论是否得手。
• 既遂危害（accomplished harm）10÷100＝10%：不安全动作真正造成了后果。

p.42 是第二段算术，对象换成防御本身。给 10,000 次决策配上监控：1% 不安全 × 90% 抓获 ＝ 90 真阳。9,900 次安全 × 1% 误标 ＝ 99 假阳。189 条告警里为真的是 90 条，只有 48%。

出处是 Monitoring Monitorability。标题即论点：监控的可监控性本身也要被评测。

这条算术的用途是排班：告警排查的人力要按一半是假阳来规划。提高告警含金量的路只有两条：压低误标率，或在评测中主动注入不安全行为、把基础率（base rate）抬上来再测抓获率。

与本讲的连接

本篇下钻官方 Lecture 13（Agent Safety）的监控与评测两个半场，页码与资料卡对位：

• p.30-36，运行时证据链：四类证据、规则与模型检查分工、工具调用之上再看 CoT、检查前置于执行、控件外置。三张卡：m7-ai-control 是三论点出处，Greenblatt 等。m7-monitoring-obfuscation 是 Baker 等的图 1 与混淆实验。m7-reasoning-traces 给 CoT 忠实性的实测数字，多数 RL 环境作弊言语化率不足 2%。
• p.37-42，发布前的度量学：四问四威胁选基准、四个百分比并排读、基础率决定告警含金量。三张卡：m7-agentdojo 是间接注入基准。m7-openagentsafety 是真实工具评测框架。m7-monitoring-monitorability 是基础率算术的出处。

跨讲连读：第 6 讲《算法再稳，尺子歪了也白搭》从训练侧讲作弊矩阵与独立验证三栏，本篇的运行时监控就是那三栏落在生产侧的形态。第 5 讲《把奖励做硬就安全吗》证明作弊是被奖励养出来的常态，本篇回答发现之后怎么办：拦在执行前。

最后落回 p.42 那笔算术。189 条告警，48% 为真。