工具调用评测棋盘：BFCL 四象限 × 四层评测栈 × 线上真实错误率

「我的 agent 又挂了」。这句话背后至少有三种完全不同的病：模型选错了工具、harness 解析崩了、供应商限流了。药方各不相同。

评测的价值，就是把这句含混的抱怨拆成可定位的事实：Berkeley Function-Calling Leaderboard 摊开函数调用能力的四象限棋盘，四层评测栈接着回答错在哪层、该动哪个零件。

一、BFCL 四象限：先看懂榜单在测什么

讲义的评测板块直接引用 BFCL（slides L2 p.52-57）。这个持续更新的函数调用榜单已迭代到 V4，四个象限各管一类考法：

评判走 AST 与可执行双轨：前者比对调用的结构形状，不必执行；后者把调用真跑起来看结果。

四象限解决的是测什么。面对一个具体失败，你还需要另一根轴：错在哪一层。

二、四层评测栈：错在哪层，修哪层

四层评测栈是本篇主轴。自上而下，每层只回答一个问题，越往下越接近要害：任务真的办成了吗。

前两层不必执行。Selection 用 precision /recall 量两件事：该调的调了没、不该调的调了没，典型失败是漏调与多调；Arguments 用 AST /schema 匹配查参数，典型失败是字段值错。

后两层必须执行。Trajectory 把多步调用跑完整，专抓坏依赖，先退款后查订单 ID 就是教科书级反例；Task 端到端执行，专抓貌似合理的错误答案。

分层的全部价值，落在一个修字上：

• Selection 失败：改工具 description 或检索。
• Arguments 失败：改 schema 与示例。
• Trajectory 失败：改规划提示。
• Task 失败：加终答校验。

四层对应四种互不相同的工程动作。不分层，你手里就只剩一个笨办法：换个模型试试。

Task 层最难测，但最能暴露真实完成情况。τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains（Sierra）用 LLM 用户模拟器在航空、零售两个域里驱动多轮任务，报告任务成功率与政策合规 pass^k。

它的结论是单次通过率虚高：以 k 次全过为口径的 pass^k，才是更接近上岗现实的读数。

子能力拆解的另一路示范是 T-Eval: Evaluating the Tool Utilization Capability of LLMs Step by Step（ACL 2024）：把工具使用拆成多个子能力分别量，思路与四层栈同构。

两篇论文指向同一个判断：笼统的工具能力分没有诊断价值，拆开量才知道短板在哪。

三、五个案例上棋盘：先归层，再开方

把讲义给的五个案例放上台面（slides L2 p.52-57），每个先归层、再谈修：

c2 的错误长什么样？工具是调出来了，order_id 的值却传成了用户名。

{ "name": "get_order", "arguments": { "order_id": "张三" } }

c4 最值得盯：每一步调用都挑不出毛病，任务却坏在最后一张嘴。工具明明说「3-5 天到账」，终答变成「已到账」。这是 Task 层貌似合理的错误答案的标准长相，只测到 Trajectory 层就收工的榜单，覆盖不到这种失败。

c5 则是反向考点：闲聊不调工具、直接回复，是正确行为。robustness 象限的 hallucination /relevance 考察给这种克制打分，考的是不该调时能不调。评测不只惩罚错调，同样惩罚画蛇添足。

四、棋盘之外：运营三问与线上真实错误率

能力之外，上线后还有三个运营维度（slides L2 p.52-57）：

• Efficiency：延迟、调用数、token 与成本。
• Reliability：超时、重试、部分失败下的真实成功率。
• Safety：策略、权限与副作用。

其中 Reliability 最容易被高估，因为失败未必出在模型身上。失败三分类归因：

线上证据来自 OpenRouter Provider Analytics（2026-08-27 数据，官方 references），展示各家供应商的 tool-call 错误率：同一模型经不同供应商通道，可靠性并不一样。

模型评测分再高，配一条错误率高的供应商通道，线上成功率照样塌。排障时，harness 层与 provider・工具层要先于模型列入嫌疑名单。

与本讲的连接

本篇是讲次页评测棋盘板块（slides L2 p.52-57）的下钻：BFCL 四象限与双评判对应伴读的榜单引用，五案例归层是 quiz 的现成题源，harness 层的 ID 错配对应 ReAct 轨迹详解里的 tool_call_id 配对机制。

把四层栈放回本讲 Takeaways 的五层系统观（Capabilities / Mechanics / Constraints / Interfaces / Systems）：Selection 与 Arguments 检查 Interfaces，Trajectory 与 Task 检验 Mechanics，线上错误率归因站在 Systems 层看全链路。