Why Diffusion Will Win AI Inference with Inception Co-Founder and CEO Stefano Ermon

斯坦福教授 Stefano Ermon 创办 Inception，用扩散模型做 LLM，文本生成速度比同质量自回归模型快 10 倍，已拿下语音 Agent 客户 OpenCall。

推理赢家未必更聪明，而是更会并行

Stefano Ermon 是 Inception 联合创始人兼 CEO，也是斯坦福大学教授，2014 年以助理教授身份加入 Stanford。他在 2019 年与博士生推进 score-based generative models，后来成为现代扩散模型的底层技术；他还共同指导过 FlashAttention，课题组孵化过 DPO。这个人横跨生成模型、训练效率和对齐，而他现在创业押注的，是把扩散模型从图像带到语言：不是让模型多会说一点，而是重写模型生成答案的方式。本期最核心的看点是：推理成本越来越重要时，逐 token 等待可能比模型大小更先撞上天花板。

这期回答了 8 个问题：

1. 为什么 Transformer 已经解决了训练并行，推理却仍困在逐 token 生成里？
2. 扩散模型如何跨过“文本是离散的、图像是连续的”这道鸿沟？
3. Inception 的扩散语言模型凭什么能在 GPT-2 规模实现同等质量、10 倍速度？
4. 速度优势为什么能让软件在部分场景替代昂贵的专用芯片？
5. 一家新架构公司真正的护城河，是模型权重还是服务引擎与客户反馈？
6. 扩散式 LLM 为什么可能比自回归模型更容易被约束和控制？
7. 50 人团队做全栈 AI，瓶颈为什么不一定是人，而可能是算力？
8. 扩散模型目前已证明什么，又有哪些最关键的问题仍完全未知？

被问到扩散模型为何值得作为主流 Transformer 路线的竞争方向时，Ermon 把问题拉回了推理的执行方式。Transformer 当年替代 RNN，关键是训练时能同时处理很多 token；但今天最常见的自回归 LLM，生成时仍得从左往右排队。第 10 个 token 不能抢跑，必须等前面 9 个先出来。哪怕用户只是在等一句简短回复，这个串行链条也照样存在。

这会让 GPU 干一件不太擅长的事：频繁搬运模型权重。Ermon 说，自回归推理极度受内存带宽限制，大部分时间花在内存层级之间移动权重，真正用于算术计算的时间反而不多。GPU 擅长的是成片的矩阵乘法，不擅长一个 token 一个 token 地等前序结果。

扩散模型的生成则是多 token 并行推进，推理负载更接近训练阶段的大规模并行计算。"the bitter lesson is that the more parallel solution is the one that is eventually going to win."（惨痛教训是：最终会胜出的，往往是并行度更高的方案。）

这意味着，AI 的竞争不只是谁能训练出更大模型，还会变成谁能以更低成本、更高吞吐把相近的智能送到用户面前。推理越成为账单里的大头，串行生成的结构性代价越刺眼。不过，这不是说扩散已经赢了。对于未来统一的多模态模型到底会采用自回归还是扩散架构，Ermon 的回答是：没人知道。

被问到扩散模型原本适合图像，为何还能走到文本和代码时，Ermon 没把难点轻轻带过。图像是连续对象：两个像素颜色之间可以插值，红和蓝之间还有很多可理解的过渡色。但两个词之间未必存在有意义的“中间词”。把一句话加一点“噪声”，再学会去噪，不能直接照搬图像的做法。

因此，扩散进入离散空间不是换个数据集那么简单，而是需要一套新的研发和理论工作。Ermon 团队在 2024 年发表的结果提供了一个小而硬的验证：在不足 10 亿参数、即 GPT-2 规模上，他们用相同数据训练扩散式 Transformer，perplexity——衡量模型对数据结构拟合程度的指标——能与自回归模型持平。换句话说，模型从文本中识别到的规律没有少。

更关键的是，它不必一次只吐一个 token，而能同时输出多个 token。"We were able to generate text like 10x faster compared to the autogressive model."（与自回归模型相比，我们生成文本的速度大约快了 10 倍。）

这意味着，“文本天生只能做 next-token prediction”的默认前提开始松动。只要离散去噪训练能守住质量，生成路径就可以重写。但边界也很清楚：这项结果发生在 GPT-2 规模，证明的是可行性与速度潜力，不等于已经证明前沿规模下也能保持同等智能。

被问到哪些客户会真金白银为速度买单，以及新架构如何影响硬件选择时，Ermon 举了语音代理公司 OpenCall 的例子。一个语音代理并非只跑一次 LLM：前端要用 ASR，也就是自动语音识别，把人声转成文字；中间 LLM 要判断意图、调用工具、组织回复；最后还要 text-to-speech，把文字再变回语音。每一环都加延迟，用户很容易感觉对面“卡住了”。

OpenCall 过去为了拿到足够快的 LLM 响应，曾在 Cerebras 的定制芯片上运行模型。后来，它切到了 Inception 的扩散式 LLM。Ermon 的说法是，扩散架构通过软件层面的并行化，在 Nvidia GPU 上就能拿到接近自回归模型跑在定制硬件上的速度，同时 GPU 的可得性更高、成本也更低。

"the gains that you get from the software they are multiplicative with the gains you get from the hardware"（你从软件获得的收益，会与从硬件获得的收益相乘。）

这意味着，客户不必把“更快”直接等同于“买更贵、更稀缺的芯片”。模型架构和推理软件也能成为性能杠杆，而且能叠加到硬件提升上。软件不是要消灭硬件；恰恰相反，未来也可能出现更贴合扩散模型的新硬件。只是现在，一部分原本要靠专用芯片换来的速度，已经可以先由软件拿回来。

被问到小公司如何面对能快速吸收新研究的大型 AI 实验室时，Ermon 给出的答案很工程化：论文、权重和生产服务之间，隔着一整套系统。Inception 的扩散式 LLM 不能直接跑在 vLLM 或 SGLang 上。前者和后者都是主流大模型推理服务框架，但它们的设计前提主要是自回归生成。于是 Inception 必须自己造 serving engine，也就是把模型稳定、低延迟地提供给真实用户的服务引擎。

这件事看起来不像“模型突破”那么显眼，却决定了技术能不能变成产品。"if you don't have the serving engine you can't really serve these models in production"（没有服务引擎，你就无法真正把这些模型用于生产服务。）

团队还从真实客户那里获得模型反馈，在部分情况下收集数据，并依据客户实际遇到的问题创建 evals，也就是评测集和验收标准。客户不是只贡献收入，也在暴露模型会在哪些具体任务上失手。一个公司若能把这些失败案例沉淀到评测、训练和服务流程中，后来者即使复现了论文，也未必复现得了这条闭环。

这意味着，新架构的护城河不只是“有没有模型”，而是“能否运行、如何评估、在哪些工作流中可靠”。代价也明显：生态还不成熟，客户对技术陌生，私有化部署更难，社区能参与贡献的空间也更小。

被问到语音产品如何保证模型输出符合品牌要求、工具调用规则和其他约束时，Ermon 提出扩散模型可能带来的第二层能力：可控性。自回归模型像写字，一笔一笔往后写。你通常得等它把完整对象生成完，才能拿奖励函数检查：这段回复是否合规，这个分子是否具备目标溶解度，这份输出是否符合品牌语气。

扩散模型则是从粗到细生成。它在早期阶段就能判断当前对象有没有朝目标方向走，并由外部奖励函数或约束逐步引导。不是等成品交卷后再判分，而是在草稿逐渐成形时不断校正方向。"diffusion models are typically easier to control compared to autogressive models."（与自回归模型相比，扩散模型通常更容易控制。）

Ermon 说，学术文献中已经有不少证据表明，扩散模型通常更容易被控制，并且存在一些自回归模型做不到的 steering，也就是生成过程中的引导方法。对产品来说，这可能意味着接口不再只是“输入 prompt，等输出”，而是让用户或系统在生成中持续施加约束。

但这张牌还没有变成明确商品。Inception 当前的切入点仍是速度，因为速度好测量、好比较，也有直接商业价值。如何把“更容易驾驭”变成客户愿意付费的新体验，团队仍在探索。

被问到一家约 50 人、成立约两年的公司，怎么同时做研究、训练、推理服务和客户交付时，Ermon 描述的是双轨组织。产品团队负责平台，以及让客户成功用上当前最好的模型；研究团队则负责下一代模型，覆盖训练、RL 后训练和推理。RL 是强化学习，模型通过结果反馈调整行为；后训练则是预训练之后，为能力、对齐或具体任务继续打磨模型的阶段。

Inception 仍把大量时间花在训练方案、推理加速、数据配比和 RL 基础设施上。它并不试图从零发明一切：模型仍基于 Transformer，仍使用 attention，仍复用公开数据集、评测和 benchmark。真正从零投入的部分，集中在扩散模型最有差异的训练与推理环节。与此同时，团队也使用 agent 提升生产率。

"the bottleneck is more compute than than than people."（瓶颈更多是算力，而不是人。）

这意味着，小团队是否有效，不再只看招聘人数，而看能否把研究员、agent 和算力排成持续迭代的流水线。人提出假设、筛选方向，agent 加快执行，算力承担训练和实验。边界也在于，算力不是抽象资源：没有足够 compute，再好的研究路线也会被实验周期卡住。团队小可以聚焦，但不能凭聚焦绕开计算成本。

被问到扩散式 LLM 是否会拥有超越性能的新能力，以及未来两年的市场空间时，Ermon 的态度很克制：目前已经被验证的楔子是速度。它容易测试，延迟数字摆在那里；它容易衡量，客户也能直接感受到等待时间变短。至于扩散模型会不会在智能上显著胜过自回归模型，他明确说没人知道。

他提到一个值得继续追踪的信号：扩散模型可能更具数据效率。以图像训练为例，同一张图可以被加入不同程度的噪声，模型会看到许多不同的带噪版本，相当于得到多种训练视图。但这个优势能否在大规模语言模型上成立，仍没有答案。

商业上，Ermon 估计，按 OpenRouter 展示的任务类别看，大约有 20% 到 30% 的工作负载对延迟极其敏感。这个比例不是扩散模型的最终份额，而是一个下限：只要模型能在给定延迟预算内交付最高质量，就有一块可服务的市场。"we don't know what we're gonna find."（我们不知道接下来会发现什么。）

这意味着，Inception 正在用确定的低延迟价值进入市场，为不确定的技术探索争取时间与反馈。但速度市场的下限，不等于它已经赢得通用智能市场。大量需要前沿级智能的任务，Inception 目前仍未达到那个能力层级。

被问到算力高度集中于大实验室后，学术研究怎样在结果出现前判断方向是否值得投入时，Ermon 回到了自己的经历。他的实验室早期在学术可承受的规模上验证：扩散方法能击败 GAN，而且训练更稳定。GAN 是生成对抗网络，曾是图像生成的重要路线，但训练常常不稳定、结果也难复现。后来，扩散路线发展出 Stable Diffusion、Midjourney 等一类技术基础。

这不是他唯一一次看到学术研究进入产业。Ermon 曾共同指导 FlashAttention；他的课题组还孵化出 DPO，即 Direct Preference Optimization，一种可用于对齐 LLM 和扩散模型的后训练算法。这些项目最初都不是靠堆最大规模算力取胜，而是从问题结构里找到更聪明的切口。

"One of the nice things about academia is that it allows you to take these contrarian bets."（学术界的一大好处，是它允许你做这些逆向下注。）

这意味着，前沿 AI 不会简单变成“学校提供人才，巨头负责创新”。当工业界资源都压向同一条路线时，学术环境仍能容忍那些暂时没有商业验证的方向，并让优秀学生长期试错。当然，这不是浪漫叙事。Ermon 也承认，如果学术界拥有更多 compute，研究可以推进得更高效。逆向下注不是不需要资源，而是资源有限时仍选择不只追随共识。

“推理的最大瓶颈不是算术，而是逐 token 等待”说的是成本结构：如果模型必须排队生成，再聪明也会被延迟和内存搬运拖住。“新架构的护城河不止是模型，而是把它跑起来的整套系统”说的是商业结构：即使并行生成有效，没有服务引擎、评测闭环和客户部署，它仍只是实验室里的结果。

两者其实都指向同一件事：AI 的胜负正在从“模型会不会回答”延伸到“答案如何被生成、以什么成本生成、能否稳定地嵌进真实流程”。扩散式 LLM 先用速度切入，是因为这件事最容易被客户感知；可控性、数据效率和更高智能则仍是待验证的可能性。

对读者来说，这也提供了一个判断新模型的角度。下次看到一项架构宣称更快，不妨继续问三句：它快在训练还是推理？快的代价是什么？它是否已经有能力进入你的实际工作流？真正改变选择的，往往不是演示里多快的一次生成，而是它能否在你的延迟、预算、约束和部署条件下，持续交付可用的结果。