Modal CEO on Agent Maxxing, the Future of Inference & Unpacking the Chaos of the GPU Market

Modal CEO Eric Bernhardsson 说，Modal 95% 新代码由 AI 代理生成，Sandboxes 和 LLM 推理各占三分之一收入，底层全靠自研。

Modal 不是靠抢大厂 GPU，而是像拼多多一样全球拼单，自动化搞定杂牌算力，还自研底层和多产品组合对抗推理市场的价格战。CEO Eric 讲透了 GPU 市场的混乱、Modal 如何靠自研和产品“全家桶”突围，以及 AI 代理让 95% 新代码自动生成后，团队开发模式发生了哪些真实变化。

Modal 不靠一两家云厂商，而是全球找 GPU 拼成一锅端给客户，像拼多多拼团一样。

• Modal 对接 25 家云服务商，每周采购 2-3 次，全球范围找 GPU，包括美国、印尼、欧洲等地。
• 很多 GPU 供应商是前加密矿工，节点不稳定，Modal 自动监控故障，出问题就下线。
• 客户只用 API，背后拼单和调度全自动，不用关心算力怎么来的。

Modal 不只做推理，还自研文件系统和容器运行时，产品线覆盖训练、推理和 Sandboxes。

• 自研文件系统和容器运行时，不用 Kubernetes/Docker，几秒内就能加载大模型。
• Sandboxes 产品年化收入 3 亿美金，2023 年上线，现已占公司三分之一收入。
• Modal 认为多产品组合和底层效率才是护城河，客户更愿意买“全家桶”而不是单一推理服务。

Modal 已经把 AI 代理用到极致，开发速度和方式都变了。

• Modal 95% 新代码由 AI 代理生成，资深工程师用代理像带 10 个实习生，极快实现想法。
• AI 代理写测试也很强，测试覆盖率大幅提升，CI/CD 自动化体系压力变大。

“现在 Modal 95% 的新代码都是 AI 代理写的，资深工程师用代理就像带了 10 个实习生。”

• 做 AI 基础设施别只盯推理服务，早点布局多产品线和底层自研，才能避开价格战泥潭。
• 让 AI 代理深度参与开发和测试，能极大提升产能，但 CI/CD 和代码废弃机制要同步升级。