The AI Compute Crisis: Why We Need Thousands of Times More Computing Power | Fractile Founder

Fractile 创始人 Walter Goodwin 称其 3D 堆叠内存芯片推理速度可比 GPU 快 10 倍以上，公司刚以 70 亿美元估值融了 7.2 亿美元 C 轮。

所有人都在说 AI 缺算力，但真正的瓶颈不是算力总量，而是一根铜线：过去 25 年芯片算力涨了约 100 万倍，内存带宽只涨了 40 倍，差了 2.5 万倍。Fractile 赌的是把内存直接盖在处理器上，绕开这道墙。这期把芯片物理、tape out 流程、电力短缺和推理需求讲得很具体。

Walter 用“仓库和办公室”打比方：DRAM 是城外仓库，SRAM 是办公室里的小柜子，AI 每生成一个字都要来回搬货，路却只有那么宽。

• 带宽是物理限制：过去 25 年芯片浮点算力涨约 100 万倍，内存带宽只涨约 40 倍，落后 2.5 万倍；大模型生成速度卡在每秒 80 个 token，不是算不动，是权重从内存搬到处理器每秒只能搬 80 次。
• Fractile 的做法是“把仓库盖在办公室楼上”：把 DRAM 堆叠到逻辑芯片正上方，用数百万根垂直铜线直连，替代今天只在芯片边缘“海滩front”横向布线的做法，同时拿到 SRAM 的带宽和 DRAM 的容量。
• 对手被同一块 HBM 卡住：GPU、TPU、OpenAI 的 Jalapeño、Meta 的 MTIA、Etched 用的都是同一家供应商的同一款 HBM 模块，架构再巧也跳不出“算力+带宽”两个上限；SRAM 路线（Groq、Cerebras）速度快但容量太小，跑不了长上下文。

Walter 说行业里“热空气”确实多，但 Fractile 的硅片已经从代工厂回来，几个月内做完整产品流片。

• tape out 是什么：把芯片设计的最终版图文件（GDS2，一张巨大的“图”）交给台积电做光罩，此后有 bug 也来不及改；但硅片回来还要等几个月，再冲刺让一个参考负载跑通整机架，Fractile 内部管这个节点叫 task zero。
• 不走 Broadcom 是核心优势：多数新芯片公司靠 Broadcom 做后端设计和代工对接，Walter 引 Broadcom 高管 Charlie Kawwas 的话——下一代平台 2028 年给 6 个大客户量产，“长得一模一样，只是换个名字”。Fractile 自己直连代工厂，才能做内存堆叠这种高度定制的活，还能用别人已经放弃的制程和 DRAM 世代“在沙发缝里”攒出吉瓦级产能。
• 推理需求没有上限：Walter 四年前的判断是训练是固定成本、推理才是唯一重要的部分；今天推理侧又叠加了“测试时计算”——他举例 Navia 的 Millennium Prize 解法是 1 万个 agent 跑 80 小时，token 生成量是两条轴同时放大。

Walter 说过去四年每个季度最紧的瓶颈都在换：先是英伟达 GPU，再是 HBM 和台积电产能，今天轮到土地和电力。

• 并网排队量是电网现有电量的一到两个数量级：美国、英国的电网接入队列远超实际供电能力；美国能 90 天装燃气轮机的“低垂果实”已经摘完。
• 中国在这件事上抢跑了：15 吉瓦的巨型水电站旁边直接建 AI 数据中心，这种“电送不出去、但数据中心不在乎在哪”的匹配，西方还没学会；英国和欧洲可以把数据中心放到苏格兰风电场旁边。
• 电越紧，专用芯片越值钱：在 HBM 芯片上开“快速模式”，等于在功耗曲线上挑最不划算的点；50 万千瓦的数据中心要服务海量用户，就必须用每瓦吞吐更高的芯片。

“如果你长期在训练上花的钱比推理还多，那我们还造这些东西干嘛？真可以打包回家了。”

• 评估任何“AI 算力”公司时，先问它卡在哪一层：是芯片、HBM、代工产能还是并网电力。这四层的瓶颈每季度都在换，押错层的公司估值逻辑会瞬间失效。
• 做推理相关产品时，把“长上下文 + 长时运行 agent”当成默认负载来设计。Walter 的判断是这类负载同时吃带宽和容量，今天没有任何一款芯片是为它优化的，这既是缺口也是采购时的议价点。