Google's Head of AI Infra, Amin Vahdat, on the Architecture of Intelligence

Google AI 基建负责人 Amin Vahdat 说，10 万块加速器规模下硬件几乎每小时坏一次，所以 Google 考核数据中心不看算力，只看"有效产出"。

所有人都在盯算力数字，但 Google 管 AI 基建的人说算力是虚荣指标——真正难的是在 10 万块芯片里随时有东西在坏，你还得让模型跑完。这期把 AI 数据中心从"盖楼"讲到"修故障"，读完你会知道 Google 为什么自研 TPU、为什么把电费当分母、以及长任务 Agent 怎么逼着机房重新设计。

Amin Vahdat 说芯片标称的算力是理论值，真正该看的是这个活干完花了多少时间，他给这个词起了个名：goodput。

• 算力（FLOPS）是虚荣指标：它只是某块芯片在理想条件下的峰值，真实性能往往由 2、4、8 甚至上万块芯片怎么连起来决定，单芯片说了不算。
• goodput 是"解题总时间"：就像在纸上做题，第一步到第四步做错了退回第一步重来，你确实在干活（throughput），但离答案更远了；goodput 算的是从开始到得出答案的全部时间。
• 10 万块加速器规模下故障是常态：Amin 说这个量级下一天坏好几次、甚至一小时坏好几次，而且没有单一主因，是"一条不断发现的长尾"——网络、硬件、编译器、运行时、操作系统都可能出问题。

Google 2013 年开始自研 TPU，当时主流观点是"别为单一负载做专用芯片"，因为摩尔定律会替你解决一切，Amin 把这叫"芯片版苦涩教训"——但 Google 赌赢了。

• 第一颗只做推理，第二颗才做训练：转折点是 Transformer 出现，加上推荐系统在 TPU 上跑得很好，广告等业务也迁了过来，TPU 的适用范围一路扩大。
• 今年拆成两颗：8i 做推理、8t 做训练：判断依据是推理市场会占到 30%-60%，值得单独做一颗更快的芯片；但两颗都能兼做对方的活，避免押错比例。
• 和 DeepMind 同楼办公：模型团队发现某个数学操作需要硬件支持，两边工程师会关在同一个房间一两周，甚至推迟流片一两周来改芯片架构——跨公司几乎做不到。

以前是人打字、等回复、再打字，中间隔好几秒；现在 Agent 自己循环，间隔压到毫秒级，机房压力结构完全变了。

• CPU、网络、存储需求一起暴涨：Agent 每拿到一个回复就要解析、推理、再去别处取上下文，这些活大多落在 CPU 上，还要从本地内存、别人的内存、SSD 甚至硬盘里捞数据。
• CPU 和 TPU 该不该放同一栋楼成了难题：放一起就没法针对 TPU 的高密度和高网络需求做专用设计；分楼放则要跨楼组网，延迟从微秒涨到几百微秒，可靠性和成本都变差。
• 电力是唯一没有现成解法的约束：Amin 说其他问题都知道怎么解、只是时间问题，唯独电力是长期硬约束，核能可能解决但要等规模化，目前仍未知。

"如果只有一个最根本的约束，我会说是电力——其他问题我们似乎都知道怎么解，只是时间问题。"

• 评估算力供应商或自建集群时，别只看标称 FLOPS，问对方在真实故障条件下、某个具体负载的 goodput 是多少——这个数字才决定你的训练能不能按时跑完。
• 做 Agent 产品的团队要提前算一笔账：Agent 循环把请求间隔从秒级压到毫秒级后，CPU 和存储的开销可能比 GPU 更早成为瓶颈，架构设计时别只盯着模型推理成本。