How Many Will Actually Get Built & Is Energy AI's BIGGEST Bottleneck? | Positron AI Co-founder

Positron AI 联创 Thomas Somas 称：Anthropic API 毛利率高达 80%，AI 推理真正的瓶颈不是算力而是内存带宽。

所有人都在说 AI 缺算力，Thomas Somas 却给出一个反直觉判断：训练拼算力，推理拼内存，两者差距十年拉大了 7 倍。他还点名 Anthropic 的 API 毛利率有 80 个点，并说"如果 OpenAI 和 Anthropic 停止训练，它们一夜之间就能盈利"。这期把数据中心抢水抢电、KV 缓存到底在省什么钱、能源是不是真瓶颈，一次讲清楚。

Thomas 说训练像往一个方向猛砸算力，砸得越多模型越强；推理反过来，每生成一个字都要把整个模型参数读一遍，卡的是内存搬运速度，不是计算速度。

• 十年间英伟达单卡算力涨了 120 倍，内存带宽只涨了 17 倍，这个缺口就是"内存墙"。原因是芯片上的 SRAM 单元由 6 个晶体管组成，过去 15 年几乎没缩小，而计算用的晶体管一直在缩。
• 训练可以并行处理海量文本，推理不行——你生成第 5 个字时不知道第 10 个字是什么，只能一个字一个字按顺序来。
• 2012 年 AlexNet 到 2019 年 GPT-2 之间，模型都是算力瓶颈，没人需要大内存；直到 GPT-3 把参数从 10 亿拉到 1750 亿，内存才变成真正的卡点。

KV 缓存说白了就是：AI 回答你问题时，把已经算过的部分存下来，下次不用重算。Thomas 说这个"存下来"的动作，是 AI 服务商利润的核心来源。

• 缓存一个 token 的成本只有重新生成它的千分之一，但很多服务商对缓存读取收的费用远高于成本。Thomas 原话：Anthropic 的 API 业务毛利率被报道有 80 个点，"在任何行业 80 个点都很难做到"。
• SemiAnalysis 的 AgentX 基准测试发现，真实 Claude Code 编程会话中 96% 的 token 都是缓存命中。谁能高效存取缓存，谁就能把成本压到极低。
• 缓存极其占内存：一个 10 万亿参数的模型权重就要 5TB，单个用户的长对话上下文能到 100GB，只要 50 个用户，上下文加起来就超过模型本身。所以现在分层存储——活跃用户放 GPU 显存，几分钟没来的放主机内存，几小时没来的扔到 SSD。

Thomas 说现在左右两派罕见地达成共识反对建数据中心，他认为这"几乎完全是中国的信息战"，因为中国自己在大建特建，却让西方因为假信息自我减速。

• 一家 In-N-Out 汉堡店用的水比美国最大的数据中心还多，高尔夫球场更是多几个数量级。现在数据中心用的是闭环液冷，很多根本不怎么用水。
• 数据中心都自带发电容量，不会从居民用电里抢，而且新容量接入电网反而能压低所有人的电价。真正的阻碍是电力公司游说反对新增发电，因为供给增加会压低价格。
• 被问到能源是不是 AI 的终极瓶颈，Thomas 说短期更大的限制是经济——世界愿意背多少债来建这些基础设施。他更担心主权债务危机，而不是 AI 公司还不起钱。

"如果 OpenAI 和 Anthropic 明天停止训练，它们一夜之间就会变成 massively profitable 的公司。"

• 如果你在做 AI 应用层，优先检查 prompt 设计是否最大化缓存命中率。96% 的缓存率意味着大量重复的系统提示词和上下文可以被复用，这直接决定你的 API 账单是别人的十分之一还是十倍。
• 评估推理服务商时，别只看每百万 token 的标价，要问清楚缓存写入和缓存读取分别怎么收费。Thomas 指出很多服务商在缓存读取上赚的是"obscene margin"，这个差价可能比标价差异大得多。