Modal CEO: Has Open-Source LLM Inference Peaked? | What Happens to the Cost of Compute

Modal 联合创始人 Eric 说，公司年化收入刚破 10 亿美元、估值 157.5 亿，而他最看好的不是模型，是给 AI 应用当"地基"的沙箱和推理平台。

推理会碎片化，赢家却必须全栈

Eric 是 Modal 联合创始人兼 CEO。Modal 已达到 10 亿美元 AR，刚完成由 Accel 领投的 7.5 亿美元融资，估值 157.5 亿美元；此前他在 Spotify 工作过。这个履历把两种看似不搭的能力放到了一起：一边是容器、调度器、GPU 容量这些很“脏”的基础设施活，另一边是把 B2B 开发者工具做出消费者产品般的品牌感。

他给出的核心判断有点反直觉：推理市场会越来越碎，但平台反而必须越来越全。因为客户最终买的不是某块 GPU，也不是一亿个 token，而是一套能把模型、训练、部署、评测和突发流量接住的系统。

这期回答了 8 个问题：

1. 推理市场越大，为什么不会由一个通用模型或一个云厂商吃掉？
2. 只卖 token 注定会陷入价格战吗？推理平台还必须卖什么？
3. GPU 供给紧张时，平台如何把客户不可预测的需求变成可预测的生意？
4. 为什么基础设施产品往往要沉寂两年，才等到真正的爆发？
5. B2B 基础设施公司为什么也需要像消费品牌一样经营“人格”和社群？
6. 顶尖应届生报价超过 2000 万美元后，创业公司靠什么留住人？
7. 后训练和强化学习会在哪类任务上先撞到天花板？
8. AI 市场如果出现 20% 到 30% 的回撤，哪些公司会最先出局？

被问到未来五年推理市场如何演化、专用模型会不会只是小众机会时，Eric 先修正了自己的预期：推理市场的实际规模，可能比他原先想的大 10 倍甚至 100 倍。市场一旦从“够不够大”变成“极其巨大”，竞争就不再只围绕一个最强通用模型展开，而会开始按任务切开。有人要低延迟，追求用户一点击就立即返回；有人能接受高延迟，但要以更低成本批量跑完海量任务；有人要微调，有人要后训练，还有公司会为音频、分类等具体工作加载专门模型。

他的判断说得很直接："I think there is an opportunity to create a hundred billion dollar company with a lot of specialized models in inference."（我认为，围绕大量专用推理模型，有机会打造一家千亿美元公司。） 这不是说每一家专用模型公司都能长成巨头，而是说总盘子变大以后，过去装不下的大量细分需求，现在足以支撑独立的大生意。

这意味着，“模型能力趋同”不一定会让市场收缩。相反，模型越容易获得，企业越会追问：哪个模型最适合我的工作流、响应时间、吞吐量和成本约束。未来价值未必只属于“最聪明的模型”，也属于把许多够用但各有所长的模型编排起来的人。边界也很清楚：细分市场足够大，不等于每个细分玩家都能活下来。Eric 说的是市场会扩容，不是专用模型天然免于淘汰。

被问到推理服务为什么不能只做模型调用时，Eric 的回答把 token 这门生意说得很残酷。token 是模型处理文本、代码等内容时使用的计量单位，很多推理服务本质上按 token 收费：客户用多少，就付多少。如果平台只是在转售这种计量单位，客户今天接 A 的接口，明天就可以改接 B，迁移时几乎不需要重写业务流程。

因此他直言："If you're just selling like tokens for dollars, there's no switching cost."（如果你只是在卖 token 换美元，那就没有切换成本。） 没有切换成本，竞争自然会滑向价格战：谁更便宜，流量就先往谁那里走。Modal 想卖的则是一整套工作流，包括后训练、Sandbox、agentic 工作流、低延迟推理和批量推理。Sandbox 可以理解为隔离的计算环境，模型写出的代码能在里面实际运行；agentic 工作流则是让 AI 代理连续执行多步骤任务，而非只回答一轮问题。

这意味着推理供应商要从“API 水管工”变成 AI 应用的操作平台。客户若把训练、运行代码、评测、部署和扩缩容都放进同一套系统，换平台就不再是改一个 URL，而是要迁走整条生产线。Eric 说 Modal 在这些能力上已经投入五年，并预计长期毛利率可到 40% 至 60%；但他也认为，传统软件那种 90% 以上毛利率不会回来，因为用户支付的一美元仍要穿过芯片、云、基础设施、模型和应用多层账单。产品线更宽会提高留存，却也会让资源分配更难：堆功能不是平台，真正的门槛是这些功能能否在同一工作流里协同。

被问到 GPU 紧缺时 Modal 怎样买卡、又如何避免大量闲置时，Eric 描述的不是“抢到更多芯片”，而是把供需两端同时汇总。Modal 与 25 家不同的 Neo Cloud 合作获取 GPU 容量。Neo Cloud 指专门提供大规模 GPU 云服务的新型云厂商。为了把这些分散资源当作一个池子来使用，Modal 没有直接采用 Kubernetes 和 Docker，而是自建容器运行时、文件系统、调度器和容量管理系统。

难点在需求端。单个客户的使用曲线很难看：白天突然冲进来一批任务，晚上又闲置；产品发布时需要几百张 GPU，平时可能只用很少。但当平台汇集了数千个付费客户，这些突发峰值会相互抵消。Eric 的说法是："You end up with a very sort of smooth overall demand and that is something we can manage extremely efficiently."（最终你会得到一条相当平滑的总体需求曲线，而这是我们能极高效管理的东西。）

这意味着 Modal 真正卖给客户的，不是某个固定数量的 GPU，而是“你不用做容量规划”。客户可以按 GPU 秒付费，需要时临时扩到 100 张卡，而不必提前签下一块持续三年的矩形容量。平台则以总体利用率赚钱。GPU 当前交付周期约 3 到 4 个月，Modal 依据过去 12 个月约 30% 到 40% 的月增长率外推，并提前买下约 2 到 3 倍容量。这套模式的反面也很锋利：一旦增长率判断错了，或供需突然反转，提前锁定的 GPU 就会从增长燃料变成现金流压力。

被问到 Sandbox 为什么早期存在感很弱、后来却变成大业务时，Eric 给出的时间线很能说明基础设施的节奏。Modal 在 2021 年推出 serverless function 产品，也就是开发者不用管理服务器、按调用运行代码的能力；到 2023 年，生成式 AI 推理需求起来后，它才真正成功。Sandbox 在 2023 年推出，初期收入贡献很小，直到 2025 年夏天，模型生成代码的能力明显提升，需求才突然爆发。

如今 Sandbox 已达到 3 亿美元 run rate，即按当前收入速度年化计算约 3 亿美元，约占 Modal 总收入三分之一。真正推高它的场景，是团队推出产品时没有预见到的强化学习、vibe coding 和后台 agent。前两者分别需要模型在环境中反复试错、以及让用户用自然语言快速生成应用；后台 agent 则需要一个能持续执行任务、又不能危及主系统的隔离空间。

Eric 总结得很朴素："The only thing is that matters is you've got to stay in the game long enough for your timing to be right."（唯一重要的是，你必须留在牌桌上足够久，等到时机站到你这边。） 这意味着基础设施不能只按上线头几个月的收入判生死。更重要的是先找到可复用的底层原语，也就是许多未来应用都可能需要的基础积木，并准备足够长的资金和组织耐心。Modal 当初并没预测到杀手级场景，这也是边界：提前布局不等于能预言未来。它能做的，是在应用爆发时还留在场上，而且手里恰好有可用的工具。

被问到 Modal 为什么比不少同类基础设施公司更有“vibes”、品牌到底有什么用时，Eric 没把品牌说成营销部门的装饰品。Modal 早期走的是清晰的 PLG 路径，即 product-led growth，靠产品本身推动增长：开发者可以自助注册、自己试用，再从团队底层往上扩散，而不是先由销售签下大合同。此时，用户决定要不要点进官网、要不要花半小时配置产品，往往发生在还没见到销售之前。

Eric 认为，自己在 Spotify 做消费者产品的经历，影响了 Modal 的网站、视觉身份和技术产品包装。他用 Type Safe 的 Jeb 举例：同行可以模仿产品，却未必愿意穿粉色皮草上台，用高度鲜明的人格持续公开表达。于是品牌不只是 logo，而是一种容易被人复述的公司性格。正如他说的："People want to use you because you're one of the cool products out there."（人们想用你，是因为你是那些很酷的产品之一。）

这意味着当开发者工具越来越多、功能差距越来越窄时，品牌会直接作用于试用率、口碑传播和招聘。一个陌生用户觉得“这家公司好像有点意思”，首次尝试的心理门槛就降下来了；用户愿意在社群里讨论，也会形成低成本分发。反面是，品牌不能靠做一套视觉系统后自动长出来。Eric 自己也承认 Modal 的人格化表达仍不够强，自己应该更公开、更频繁发声。社群感需要持续被产品体验和具体的人维持，否则“酷”很快会变成空壳。

被问到 AI 人才市场是否已经失控时，Eric 给了一个足够刺眼的数字：Modal 失去过一些应届毕业生，他们去了大模型实验室，对方报价在 2000 万美元以上。他没有把这些人笼统叫“名校生”，而是形容他们极其敏锐、饥饿、勤奋，对技术几乎无所不知。原话是："We've lost new grats going to, you know, some of the labs for like 20 plus million."（我们失去过一些应届生，他们去了某些实验室，报价大约是两千万美元以上。）

面对这种报价，创业公司很难也没必要在所有现金条件上硬碰硬。Modal 的目标是把现金薪酬做到市场第 95 百分位，但 Eric 承认，仍有少数公司会付得更多。它想拿来竞争的，是“股权不是纸面财富”。具体做法是允许员工进行二级出售，也就是在公司未上市前，把一部分股份卖给后续投资者或其他买家；他提到可以设定最多出售 10% 的护栏。

这意味着人才竞争正在从“给多少期权”转成两个更现实的问题：候选人能否相信这些股权未来有上行空间，以及他能否在漫长的上市或出售前把一部分收益兑现。二级流动性因此变成薪酬产品的一部分，不只是福利。边界也在于，过度流动会让员工过早套现，削弱长期利益绑定。因此 Eric 强调只能卖一小部分：既要把股权变成看得见的硬通货，也得让员工仍与公司的长期结果绑在一起。

被问到资源从预训练转向后训练是否会成为长期常态时，Eric 没有简单地说“强化学习会吃掉一切”。他认为后训练之所以在编程上效果显著，是因为反馈清晰且快速：模型写完代码，可以立刻放进 Sandbox 运行，测试通过还是失败，一目了然。网络安全、数学和部分法律任务也有类似条件，能够构造相对有限的评测或反馈机制。

但他把边界放在反馈周期上：agent 很可能先自动化那些能在 24 小时或一周内完成的任务。工程师真正困难的工作，往往是跨团队理解需求、设计系统、上线后观察问题，再根据业务变化反复调整，反馈可能跨越数月。对此他明确说："I have a feeling like reinforcement learning we're going to start to run into some limitations around that."（我感觉强化学习会开始在这方面碰到一些限制。）

这意味着 AI 自动化的速度，不只由模型参数、GPU 数量和训练预算决定，还由任务是否能被快速、可靠地验证决定。能快速验对错的任务，像有标准答案的练习题，强化学习可以高频试错；长周期工作更像经营一家餐厅，今天的决策可能几个月后才知道对不对，而且结果还受许多外部变量影响。Eric 也留了余地：如果未来能为耗时数月的人类工作构造有效反馈，边界仍可能被推开。他承认自己过去多次低估变化速度，因此这不是对长期能力的否定，而是对短期落地顺序的判断。

被问到什么判断可能不利于 Modal、AI 市场是否过热时，Eric 没有回避资本周期。他预计热潮在某个阶段会出现 20% 到 30% 的股市回撤，市场会随之恐慌。他并不认为这会推翻长期机会，原话是："There's going to be a pullback. I'm okay with that because I think the long-term opportunity is so [ __ ] big."（一定会有一次回撤。但我接受这一点，因为我认为长期机会大得惊人。）

真正让他警惕的，是依赖持续股权融资输血、却没有真实商业化路径的公司。Modal 的融资原则是，每一轮都要按“这可能是最后一轮”来准备：即使资本市场突然收紧，公司也得知道怎样走向收入和商业化。这一点在 GPU 生意里尤其现实。公司可能在利润表上盈利，但为了提前购入 GPU 容量，现金流依然为负；资本能帮助扩张，却不能替代最终付账的客户。

这意味着下一次收缩不会平均伤害所有 AI 公司。拥有收入、资本效率和明确单位经济模型的企业，回撤时可能拿到更低成本的人才、客户和算力；靠估值不断上涨来支撑下一轮的公司，则会先失去续命空间。边界是，Eric 没有给出回撤何时发生，也不知道 GPU 价格会在一年、五年还是更久后回落。长期需求巨大，不等于短期资金账单会自动消失。

“推理市场越大，专用模型越可能诞生千亿美元公司”和“单卖 token 必然价格战，护城河来自整套工作流”看起来像一松一紧：前者说市场会碎，后者说平台要全。它们其实指向同一件事——客户的需求会越来越具体，但客户不愿意为每一种具体需求拼装十几家供应商。

同样，“GPU 荒中，真正可卖的是免规划的弹性，而非 GPU 本身”与“基础设施产品不必立刻爆发，关键是活到需求出现”也连在一起。容量调度、容器运行时、Sandbox 这些东西在需求没有爆发前很难显得性感；可一旦模型生成代码、强化学习或 agent 改变工作流，它们会突然成为业务的承重墙。平台的价值不在于预言下一个应用，而在于提前把应用出现时需要的积木放好。

这也解释了为什么品牌、人才流动性和现金纪律会出现在一家基础设施公司的讨论里。开发者社群决定新工具能否被主动尝试；能兑现的股权决定顶尖人才是否愿意承担创业风险；按最后一轮融资来准备，决定公司在回撤时是否还留在牌桌上。对正在做产品、选技术栈或考虑创业的人来说，问题不只是“现在最热的模型是什么”。更该问的是：你的工作流里，哪些环节会被模型替代，哪些环节需要新的反馈机制，哪些基础能力一旦接进去就不愿再迁走。推理市场的机会，正藏在这些具体而麻烦的环节里。