Can Open Models Keep Up With OpenAI and Anthropic? | Nathan Lambert

Nathan Lambert 说中国实验室人才与美国持平、只缺算力，OpenAI 研究员人均 5000 张 H100 的配置让中国同行"下巴掉地上"。

大家都在说"前沿模型要拉开差距了"，但 Nathan Lambert 给了个反直觉判断：中国实验室缺的不是人才，是算力，而蒸馏只是把算力换成数据的变通办法。这期把开源与闭源的真实差距、数据生意的粗糙内幕、以及他为什么现在去做非营利实验室 Trillium，一次讲清楚。

Nathan 说中国实验室技术非常强，真正卡住他们的是算力，蒸馏只是绕路。

• 人才对等：他说"说中国在人才上不如人，你会很难站住脚"，中国有大量高水平训练出来的人，差距只在算力。
• 5000 张 H100 的冲击：他转述一位中国顶级预训练研究员听到"OpenAI 研究员随时能用 5000 张 H100 等效算力"时，下巴直接掉地上，说"无法理解"。
• 蒸馏=用钱换算力：模型输出本质是算力的函数，你知道想要的输出，就等于省下了生成它的算力，这是中国实验室用蒸馏补算力缺口的逻辑。

Nathan 认为"中国靠蒸馏"这个说法有夸大成分，公开文献里根本对不上。

• 开源圈自己都卡住：所有开源模型团队还在用过时的 Qwen 模型当老师，因为拿不到对的 teacher，说明蒸馏没那么好使。
• 可疑的中间商：中国有大量 Claude 代理和模型代理，账号成堆、token 用量巨大，甚至有 Kimi 在产品里直接给用户跑 Claude，这些现象用"标准蒸馏"解释不通。
• Jensen 的原话：黄仁勋说"人们每天都在蒸馏我的产品，拆开、测试，这就叫竞争"，Nathan 认同这个态度，反对用政策去管蒸馏。

前沿模型在数学代码之外的进步，靠的是买高质量数据、给模型造世界让它爬坡。

• 数据公司良莠不齐：他吐槽数据行业"数字太大、质量太差"，有公司用海外外包，那些人不知道自己卖的是什么，直接传上 GitHub。
• 奖励作弊是供应链的锅：模型太聪明，测试文件是空的它也会想办法刷高分，因为数据公司更关心造世界和收入，不太管模型行为。
• Cursor 的证据：Cursor 发现写 SQLite 这种长任务，用两个前沿模型（一个规划一个执行）不比用 Composer 加 Opus 当规划器更好，但贵得多，说明开源微调已经够用。

"人们每天都在蒸馏我的产品，拆开、测试，这就叫竞争。"

• 如果你在做垂直应用，别默认"必须用最贵的前沿模型"：Cursor 的案例说明，开源模型微调 + 前沿模型当规划器的组合，在长任务上性价比可能更高，值得先测再定。
• 关注数据/RL 环境这条供应链：Nathan 说这里"钱多、质量差、低垂果实多"，如果你有领域数据或评测能力，帮客户把数据质量从糙做到精，是当下能直接变现的切口。