why-agi-will-not-happen
Why AGI Will Not Happen — Tim Dettmers
1. 计算可以很快，但是显存跟不上
Tim 对计算能力的倒是非常乐观，预测单个芯片达到 10 exaflops 会很轻松。虽然现存最强芯片，英伟达的 Blackwell Ultra GPU 单芯片计算能力才 15 pflops。
但是，算力（GPU）包括了需要处理的数据（显存）和计算单元。显存会越来越贵，导致它所能存储的数据（包括过程数据），喂不饱计算单元。他是由传统计算机芯片 CPU 推论而来，L3、 L2、 L1 到寄存器，由远及近，访问速度指数级上升的同事，存储量和价格却指数级下降。
最终得出的结论：不是计算能力不够，是显存跟不上计算能力的发展。
2. Transformer 架构已接近极限
Tim 对 Transformer 架构中两个核心组件 Attention 和 MLP 做了恰到好处的解释。
To process information usefully, you need to do two things: compute local associations (MLP) and pool more distant associations to the local neighborhood (attention).
Attention 处理远距信息和位置，MLP 处理局部信息。
Attention 机制在效率方面，在工程上还有优化的空间，但是优化的边际效用越来越小。
3. 单位能量供给也接近极限
Tim 以生物为例，一类生物的大脑神经元的个数与其摄入能量的能力存在极强的相关性（99%）。大脑约占人体重量的 2%，却消耗了高达 20% 的能量。女子怀孕要供应两个大脑，一孕傻三年不无道理。
现有数据中心的建设对能源的依赖，也已经跟人类大脑类似，接近能到到达的最大规模极限。
4. 智能的增长需要指数级的资源
Tim 从物理和思想两个角度对维护需要指数级资源做了解释。
物理方面容易理解一些，产生智力的过程需要算力。逻辑上，线性的资源（算力）增长会产生线性的产出（智力水平）。但从实际物理特性（人类现有能力下）出发，无论是数据（存储）还是计算单元的物理汇聚本身不是线性的，随着规模的增大，中间的损耗会逐步增大，汇聚速度会逐步减慢，直到损耗完全侵蚀汇聚速度。也就是说单个数据中心算力能用到模型训练上是有极限的。
思想空间更像一个人造概念，脱离普通人的生活和常识，因此也更加难以理解。2 个完全不同的思想要 10 倍于 2 个相关思想。以物理学为例，绝大部分新思想都是基于以前思想的，依据上述评价标准，其增长是低于线性的。而如今物理学已经相对很成熟的前提下，那些爆炸性的新思想往往都是 made-up problems，很难有实际推动物理学前进的效果。
因此，无论在物理还是思想空间方面，在当下基础上的增长都需要指数级资源。
5. GPU 不再改进
Tim 认为 GPU 无可否认的推动了此次人工智能浪潮，但是现有体系架构下，GPU 的单位成本性能已经在 2018 年达到了极限。这个可以由 [第四点](# 4. 智力的增长需要指数级的资源) 物理角度可以得出。
尽管 GPU 在其他方面进行着长足发展，比如精度（16-bit, 8-bit, 4-bit）、tensor core 、HBM。纵向方面，机柜级、光通讯、数据中心级，带动到了一些列产业的发展。
6. Scaling 还不够
Tim 相信 Scaling law，并且目前为止 Scaling law 还在发挥作用。但是进度明显已经放缓，从 Gemini 3.0 发布的周期，以及 ChatGPT 5 的能力来看，都提现了这点。原因在 [第四点](# 4. 智力的增长需要指数级的资源) 已经提及。
这里有个实用的知识点：大基数的用户能有效提升基础设施的效率，其中涉及到很多工程优化，包括 overlap computation、 KV-cache 等等。大模型提供商普遍提供命中 cache 时 token 的价格要明显低于未命中 cache 的价格。
Another big threat to scale-up-infrastructure is that, currently, large-model inference efficiency is strongly related to a large user base due to network scaling. The problem is that efficient deployments of a large model needs a certain amount of GPUs to be efficient enough to overlap computation with networking and KV-cache length partitioning.
7. 中美不同的 AI 定位
Tim 观察得出结论：美国相信 AGI 会在几年来到来，信奉赢家通吃，因此追求更大，更好的模型。中国则认为 AI 跟其他事物的发展类似，是个循序渐进的过程，先在实际应用中落地使用，逐步改进。
8. AGI 永远不会发生，超级智能只是幻想
Tim 有以下理由：
1）有经济价值的智能化很多都已经实现，比如中国的 dark-factory （机器 / 人工作无需光源），这部分附加值极高的智能，无需 AGI 的介入。而让机器人帮忙叠个衣服、洗个碗的事情，附加值不高，可能自己来还更合心意。
2）物理世界比语言在细节上更复杂，需要更多的数据，且采集更麻烦，因此会很不经济。
3）即使达到了 AGI 的能力，你也用不起。根据 [第四点](# 4. 智力的增长需要指数级的资源) ，使用 AGI 的代价要远高于完成任务的收益，就没有存在的必要。比如水中取氢的想法，氢能源迟迟未能落地。
4）好的模型会被实际普及情况所打败。比如早前的 x86 架构和 RISC 架构之争。