Zombie stats: Where the numbers AI quotes come from · 策展笔记

问 AI 一个要数字的问题，它会给你数字，还会带上一条引用，看起来有理有据。Trakkr 最近对这件事做了一次规模不小的核查：把五个主流 AI 助手给出的上千个带引用的统计逐个沿引用链回溯，看这些数字到底能不能落到真实研究上。

结论先说：只有 40% 溯源到结论一致的研究，11% 全网无源。AI 报出的数字，一多半经不起追问。

Trakkr 挑了五个入口：ChatGPT、Perplexity、Gemini、Claude，加上 Google 搜索页的 AI 摘要。每个助手问 200 个要数字的问题，全部走 API、同一天、同一地区，排除渠道差异。

一千个答案里抽出 3167 个统计，再从带引用的部分抽出 1285 个，沿引用链最多回溯五层。每一层都核对：页面还在吗、页面上真有这个数吗、往上引的又是谁。

方法里有个诚实的细节。先用 AI 判链，只有 23% 可溯；人工复核后修到 40%，一行结论差出 17 个点。说明 “可不可溯” 本身依赖裁判，读后面的数字要带这个背景。另外研究只测了一天、只测了美国区，40% 当量级看，别当精确值。

他们另拿了 52,930 条真实搜索里的 AI 摘要做交叉验证，结果还是 40%。这个数比较抗打。

1285 个数字的归宿分五档：

无源的那一成，原文起了个名字叫 zombie stat，定义是：

“一个不断被重复、背后却没有研究的数字。”

典型如两条营销圈名言：“44% 的销售在一次跟进后就放弃”“90% 的社交媒体用户关注过品牌”。五个助手全员引用，回溯链的终点是一位自由撰稿人的样稿标题，或者干脆什么都没有。

AI 最常重复的 29 个统计里，有 4 个全网无迹可寻。

比无源更隐蔽的是变形。2004 年一项 CHI 研究观察了 15 位英国女性评判健康网站的行为，发现 94% 的拒绝理由与设计相关。二十年后，Google AI Overviews 把它说成 “94% 的网站第一印象与设计有关”。

样本没了，条件没了，数字还在。

类似的还有 MIT 那份 “95% 组织未从生成式 AI 获得回报” 的报告，流传中缩成了 “95% 的 AI 试点失败”。

原文给了一组统计：能到达研究的数字里，17% 已经变形；其中真正改了数字本值的只有约四分之一，剩下都是语境漂移，测量对象、年份、人群挨个换。像多级缓存把彼此当源站，回源最后落在一个空目录上。

分助手看：ChatGPT 可溯率 57% 最高，每个答案平均只带 1.3 个统计；Claude 38%，每答案 6.8 个。中间三家挤在 38% 到 46%。

引用密度和可溯率大致成反比。因果我不下断言，但形状摆在那儿。

引用的质量也一样。被引页面 82% 确实包含那个数字，但只有 21% 是原始研究；首引里 54% 是公司博客，可溯率 37%，研究机构和政府页面高得多。

“引用只能说明 AI 在哪里找到数字，不能说明数字从哪来。”

这是研究里最该抄走的一句话。你以为的来源，多半是二手转述。

五个 AI 给出同一个数，该信吗？研究给了反例：全员给出一致数字的 10 个问题里，抽 5 个去追，只有 2 个可溯。共识只能证明语料池同源，证明不了数字有出生证明。

这项研究只测了英文助手。中文语料的互抄和洗稿烈度，个人判断只高不低，国产助手没有豁免理由。

往后看到 AI 报的统计，值得立三条规矩：

这笔账不省钱。假设一篇稿子带二十个数字，逐个追到研究页，核查时间可能超过写作时间。但数字型论据的信用是复利，一次翻车就把此前省的时间全赔回去。

研究本身的判链方法、复核流程、原始数据全部公开。做内容管线的人照着搭一套出处核查，不亏。