The Inference Frontier: from 100 to 10,000 tokens per second — Sean Lie, Cerebras CTO

Cerebras CS4 芯片让 OpenAI 内部模型推理速度提升 14 倍，CS5 明年目标中型模型 1 万 tokens/s。

100 TPS 正沦为批处理，速度决定智能

Sean Lie 是 Cerebras 的 CTO 与联合创始人，也是晶圆级芯片路线的架构负责人。Cerebras 的首代芯片，最初更像一次高风险的技术验证：证明把一整片晶圆做成计算芯片，到底能不能造出来、能不能稳定工作。如今公司已经完成 IPO，Sean Lie 谈的重点也从“这东西能否存在”，转向“它怎样进入真实业务”。

这场对话的核心，不是又一张芯片跑分表，而是推理的单位正在变化：过去人们比较每瓦性能、总吞吐和单卡价格；现在，实时智能体、千兆瓦数据中心和稀缺算力容量，把竞争推到了模型、芯片、封装、供电和产品分发共同构成的系统战。

这期回答了 8 个问题：

1. 为什么曾经很快的 100—200 TPS，会被重新定义为“批处理速度”？
2. 推理变快除了让回答更快，还会怎样改变智能体的能力上限？
3. 为什么今天的大模型其实仍被某一代 Nvidia GPU 的约束所塑形？
4. 千兆瓦级数据中心为何不能再靠堆同一种芯片解决问题？
5. 晶圆级芯片最难的关卡，为什么可能不是良率而是供电和散热？
6. 当超快推理产能售罄时，谁先用上它会如何决定产品创新？
7. 没有基准和系统细节的芯片发布，投资人和客户到底该如何判断？
8. 中国开源模型的崛起，为什么会让芯片竞争变成国家级系统工程？

被问到 Nvidia、AMD 等传统架构还能如何竞争时，Sean Lie 给了一个很刺耳的时间判断：过去被认为很快的每秒 100 或 200 个 token，正在迅速变成新的 batch mode，也就是批处理模式。TPS 是 tokens per second 的缩写，指模型每秒生成多少 token；token 可以粗略理解为模型输出时切分出的文字单位。以前用户看到 100 TPS，会觉得回答在“流动”；现在，它越来越像把任务扔进后台，等结果回来。

主持人给出一个更具象的变化：一次 eval，也就是批量评估模型效果的任务，原本要跑 20 小时，现在点一下按钮，能在 2 小时内完成。Sean Lie 的回应是，传统速度并非没有位置，它依然适合 prompt processing，即处理用户输入提示词的阶段，也适合高度并行的工作负载。但他接着泼了盆冷水："being able to do prompt processing isn't isn't quite enough, right?"（“仅仅能把提示词处理做快，已经不够了，对吧？”）

这意味着，推理竞争的标尺正在从“机器一共能吐出多少 token”，转向“用户能不能连续做事”。如果一个系统只擅长快速吃进大量提示词，它仍然适合做后台层：整理文档、批量分析、并行预处理。但当产品要让人实时追问、让智能体连续修改计划时，生成速度和每轮等待时间会直接决定工作流能否成立。Sean Lie 没有宣判传统高吞吐架构失效；他的边界很明确：它们仍有大市场，只是不能把 prompt processing 当成推理体验的全部。

被问到 CS4 的超快推理数字到底能带来什么新能力时，Sean Lie 没有只把它包装成“打字更快”。Cerebras 在 Hot Chips 的演示里，让 GPTOSS 跑到超过 4,400 TPS。按他的说法，CS4 相比此前产品又提升了两倍；他预告的 CS5 还要再翻一倍，中型模型如 GPOSS、Gemma 的目标是最高 10,000 TPS，Kimmy、DeepSeek 和 GPT56 Soul 等前沿模型的目标是最高 5,000 TPS。

数字背后的逻辑是智能体循环。所谓 agentic loops，可以理解为智能体不是回答一次就停，而是会规划、调用工具、读结果、检查错误、再决定下一步。每多一轮，模型就多一次纠错和搜索的机会；但每一轮也都在消耗时间。Sean Lie 的说法很直接："user experiences start to become extremely different right what used to be batch and offline applications start to become real time"（“用户体验会变得截然不同：原本批处理、离线的应用，会开始变成实时应用。”）

这意味着速度不只是前台体验的润滑剂，而是在给智能体增加可支配的推理预算。一个任务若只能等待几十秒，系统可能只能走一两轮；若同样时限内能跑更多轮规划、验证和工具调用，完成方式会变掉。比如原本只能隔夜跑完的研究或评估，开始有可能在用户还坐在屏幕前时返回可继续操作的结果。边界也要看清：Sean Lie 讲的是“更多速度创造更多 reasoning 的条件”，并没有给出 TPS 从多少升到多少，会让某类任务准确率提高多少的定量公式。

被问到超快推理、模型架构和与 OpenAI 协同设计的关系时，Sean Lie 点出一个常被忽略的事实：今天大多数模型并不是为“通用硬件”设计的，而是为 Nvidia GPU 设计的，甚至常常围绕某个具体代际，例如 B200、GB200 或 NVL72。模型的算子组织、内存访问方式、并行策略和部署工具，都会不知不觉继承这套默认假设。

Cerebras 已经把一款 OpenAI 最前沿模型跑到常规 GPU 速度的 14 倍，但 Sean Lie 强调，这还不是专门为 Cerebras 架构改写过的模型。也就是说，硬件已经在做迁就后的加速。他判断，只要模型架构允许发生哪怕很小的调整，空间仍然很大："And so if you start to then open up the possibility of adjusting that model architecture even slightly, you can get massive gains."（“如果开始允许哪怕轻微地调整模型架构，你就能得到巨大的收益。”）

这意味着，非 Nvidia 硬件要形成稳定优势，不能只靠“我的芯片更快”这句话。模型结构、编译器、运行时和部署目标要一起松开 GPU 默认设置，才能把硬件特性真正兑现为系统性能。Sean Lie 把与 OpenAI 的合作称为 co-design，即软硬件协同设计：模型不再先定稿，芯片只能事后适配。限制同样明显：他没有透露具体该改哪一种模型结构，也没有公布协同设计之后的实际增益。现在能确认的是方向，不是完整配方。

被问到异构、解耦式推理系统该怎样划分工作负载时，Sean Lie 认为，不能只把推理粗略切成 prefill 和 decode。Prefill 是模型读取用户输入、建立上下文的阶段；decode 是一个 token 一个 token 向外生成答案的阶段。但继续拆开看，还包括加载 KV cache、执行 attention，以及把专家模型中的 experts 分散到不同硬件上并维持负载平衡。KV cache 是模型保存前文计算结果的缓存；attention 则是模型在当前生成时回看上下文、决定哪些信息更重要的计算。

因此，他主张为不同子任务配置不同类型的计算、内存和 I/O，而不是买一种加速卡后让它包办全部。不过这不是小团队机房该照抄的方案。他说，小规模部署里，为一个问题拼接多种硬件并不划算；接线、调度、数据搬运和运维复杂度可能先把收益吃掉。可当规模进入数百兆瓦、千兆瓦，甚至多千兆瓦时，情况会反转："at the scale we're all talking about, the hundreds of megawatts to gigawatts, the multi- gigawatt scale, it easily pays off."（“在我们讨论的这种规模——数百兆瓦到千兆瓦、乃至多千兆瓦——它很容易就值得了。”）

这意味着，超大 AI 数据中心的采购单位将不再只是“选哪张卡”，而是把整个数据中心当作一台计算机来设计：多少资源做 attention，多少资源做 prefill，多少资源承担高速生成。性能杠杆因此从芯片型号，移动到整个系统的分工和调度。它有明确门槛，不是每一个部署都值得异构化。

被问到 3D DRAM、内存封装和物理限制是否仍是主要挑战时，Sean Lie 回顾了 Cerebras 早期最常遇到的质疑：一整片晶圆上有大量 die，也就是裸芯粒，究竟怎么互连？这么大的芯片怎样获得足够良率？良率指制造出来的芯片中，真正可正常工作的比例。这些当然都是基础难题。Cerebras 必须先证明晶圆级计算能被造出来、能稳定制造，才谈得上后面的性能和产品。

但做下去后，他认为真正决定能否扩展的，不只是芯片逻辑，而是能量和热量怎么处理。Cerebras 的 CS4 使用新的 Nexus 平台，系统层面提供了此前两倍的供电能力、两倍互连带宽和一半延迟；公司两年前又启动了 DRAM stacking，即把 DRAM 内存进行三维堆叠的项目。Sean Lie 把实际门槛说得很朴素："what turned out to be, you know, the biggest enablers was ultimately how do you power it? How do you cool it, right?"（“最终真正最大的使能因素，是你怎么给它供电？怎么给它散热？”）

这意味着，下一阶段 AI 硬件的壁垒会延伸到封装、机架供电、冷却和可靠制造。PPT 上画出逻辑芯片和 DRAM 叠在一起，不等于产品能持续运行：电要送得进去，热要排得出来，批量制造还要稳定。Sean Lie 也没有否定良率的重要性；他的排序是，die 互连和良率是必须跨过去的地基，供电、散热和规模化可靠性则决定大楼能盖多高。

被问到用户何时能真正用上 Kimmy、DeepSeek 等超快推理服务时，Sean Lie 的回答不是产品发布日期，而是产能分配。Cerebras 当下在建设的容量“基本全部售罄”。公司正在策略性部署每一个 megawatt，也就是每一兆瓦供电能力；其中相当一部分给了 OpenAI。这里的稀缺不只是芯片数量，而是可交付的系统容量：机架、供电、冷却、网络和可用硬件要一起到位，才是一份能卖给客户的推理能力。

OpenAI 已经将部分容量用于内部的关键场景。Sean Lie 举了两个例子：服务发生 outage，也就是故障时，incident response 团队需要快速定位和处置，每一秒、每一分钟都可能影响恢复；另一些关键研究应用，则需要额外 reasoning 来得到更智能的回答。"So right now internally they're using it for a lot of really critical use cases where the speed really really matters."（“所以现在他们在内部把它用于许多速度极其关键的任务。”）

这意味着，超快推理短期更像受配给的战略资源，而不是谁刷卡谁能买到的云服务。最早得到容量的团队，可以先把实时研究、故障响应和高价值智能体变成产品；后来者即便有相同模型，也可能因等待时间太长而做不出同样的交互。Cerebras 和 OpenAI 已开始向能承载高价值、要求苛刻工作负载的企业客户开放部分能力，但更广泛可用仍取决于扩容。至于 OpenAI 为何这样分配，Sean Lie 明确说最终由 OpenAI 决定，他不能代替对方解释。

被问到新兴芯片公司 Etched 的公开信息、基准和技术方向时，主持人先指出一个问题：Etched 缺少公开数字和 benchmarks，也就是可对照的性能测试。Sean Lie 没有假装自己知道答案。他说，Etched 对底层方案披露很少，公开说法相较最初版本也有不少变化；在快速变化的市场里，公司调整方向可以理解，但外部很难据此判断其技术边界。

他对公开材料的评价很具体：图片有“very impressive graphics design”，但看不出公司做的是不是超越“更好的传统 GPU”的东西。对于其“分布式存储因为分布式而更快”的说法，Sean Lie 直接表示自己不理解，也希望对方能说明。这个回应的关键不在于 Etched 是否成功，而在于硬件采购不能被融资额、机架照片或概念图替代。一个系统究竟解决了计算、内存、互连、延迟中的哪项约束，必须有能被交叉核验的信息。

这意味着，客户和投资人应把问题问到架构层：跑的是什么模型、模型多大、内存如何配置、延迟和吞吐分别是多少、测试条件是什么、系统怎样扩展。只报一个漂亮 TPS，也未必够，因为它可能只在小模型或特定条件下成立。这里的边界尤其重要：Sean Lie 承认他不知道 Etched 的底层设计，他的判断受限于公开信息不足。这不是对对方技术的定论，而是对“缺少证据时不能下定论”的提醒。

被问到中国模型、供应链独立和美国半导体竞争处境时，Sean Lie 起初说开源模型市场“100% Chinese”，被主持人纠正后改成“almost，okay，95%”。他要表达的不是一份经过节目展示的统计报告，而是观察到多数大型、高质量开源模型正来自中国实验室。这个修正本身也提醒读者：95% 是他在对话中的近似判断，不能直接当作精确市场份额。

Sean Lie 进一步担心的，是模型之外的配套基础设施也在后台独立建立。模型开源后，需要有人训练、部署、服务、优化；这背后是硬件、制造、内存、网络、软件工具和数据中心。若高质量开源模型的供给重心与本地硬件基础设施同时发展，竞争就不再只是“哪家芯片公司下一代更快”。他认为，这不可能由单一公司或单一晶圆厂解决，而需要政府级、国家利益级别的行动。

这意味着，模型、芯片和供应链已经绑成一条链。开源生态迁移，未必立刻意味着某种芯片落后；但如果开发者、模型适配、部署平台和制造能力同步形成闭环，后来者要追赶的就不只是一个产品周期。Sean Lie 也保留了另一面：全球分享本身能让整个社区受益。他提出的是战略依赖的风险，而不是否定开源协作。真正的问题是，谁能在开放流动的模型世界里，持续保有从研发到制造再到部署的完整能力。

“100—200 TPS 正从‘实时’退化为批处理”和“推理速度不是体验优化，而是智能体的推理预算”，指向的是同一件事：速度正在改变任务本身，而不只是缩短等待条。过去，推理系统的工作是尽可能便宜地生成答案；现在，它开始要支撑连续规划、工具调用、故障响应和实时研究。慢一点，可能不是用户多等几秒，而是整个产品只能退回后台任务。

而“千兆瓦级推理中心应按一台计算机分工”与“良率解决后，供电与散热才是晶圆级算力规模化的关卡”又说明，速度不会凭一颗芯片凭空出现。大规模推理需要把计算、内存、互连、封装、供电和冷却连成一个能稳定交付的系统。再加上“谁先获得稀缺容量”的问题，性能甚至会变成产品分发权：先拿到容量的人，先试出实时智能体到底能做什么。

对读者而言，判断一家 AI 公司或一项硬件发布，不能只问跑分高不高。还要问：它让什么任务从离线变成实时？它能否支撑更多轮推理？它的模型是否仍被某一种硬件默认假设锁住？它的系统能否真的扩到所宣称的规模？当这些问题被放在一起，芯片才不再只是机房里的零件，而会直接决定你手里的 AI 产品能做什么、又会卡在哪一步。