Gemini 4 Carbon Takes the Top Spot After a Major Benchmark Overhaul

Artificial Analysis 新榜 V5 把 60% 题目换成私有数据，Gemini 4 Carbon 59 分登顶，开源与闭源差距从 3 分拉大到 12 分。

同一批模型换一套考卷，排名就天翻地覆：Kimi K3.1 Pro 从第 4 掉到第 9，GPT-6 Astra 从第 6 升到第 2。这期讲清新榜为什么改、改完谁涨谁跌，以及“开源追平闭源”这句话为什么突然站不住了。

Artificial Analysis 把十几个基准压成一个分数，V5 最大的改动是首次让私有数据集占多数，厂商没法提前把答案背进训练数据。

• 私有数据占 60%：此前是 45%，为的是防“刷榜”——厂商把考题和答案塞进训练集，分数虚高但实际能力没变。
• 新增两个硬核测试：Frontier Code 2.0 由 Cognition 出题，按“仓库维护者会不会合并这段代码”打分；Terminal Bench Science 考智能体做真实科研任务。
• 删掉长上下文测试：SciCode 和 AA LCR 被移除，因为压缩和记忆技术让长上下文成了标配，不再值得单独考。

重排后最刺眼的变化不是谁第一，而是开源模型集体下滑，Kimi K3.1 Pro 从第 4 掉到第 9。

• Gemini 4 Carbon 以 59 分登顶：比 Opus 5.5 的 58 分高 1 分，成本每任务 7.76 美元，比 Opus 5.5 便宜 23%，比 Astra 贵 20%。
• 开源与闭源差距从 3 分变 12 分：Kimi K3.1 Pro 46 分是开源最高，DeepSeek V4.1 Flash 和 GLM 5.3 只有 32 分，比 Claude 3 Haiku 5.5 的 36 分还低。
• Kimi 并非全面落后：Brookings 研究员 Kyle Chan 指出 Kimi 在 Terminal Bench 4.0 上以 67% 排所有模型第一，短板集中在科学推理——Terminal Bench Science 只有 34%，GPT-6 Astra 是 63%。

Gemini 4 Argon 发布仅两周，Carbon 就来了，Sundar Pichai 在财报电话会上说这靠的是 AI 帮谷歌加速训练本身。

• 八项关键基准中六项第一：编程 Terminal Bench 4.0 涨 8 分、Frontier Suite 涨 6 分；安全 Exploit Gym 涨 12 分；电脑操作 OS World 涨 7 分。
• 暂不对外开放：谷歌称按政府发布前测试指引，先只给部分网络安全防御方和可信合作伙伴用，普通开发者和消费者要等护栏调完。
• 内部员工的原话：Gemini 后训练研究员 Shao Zhang 说，一年前拿第一是全队庆祝的大事件，现在“发布只是定期检查点”，通宵跑循环修 bug、用智能体集群清洗强化学习数据已是日常。

“没人会在真实生活里开 max 档——中等、高、超高强度的排行榜在哪？”（开发者 Sri 对榜单只用最高推理档位测试的质疑）

• 选模型别只看总榜第一：写代码场景 Kimi K3.1 Pro 在 Terminal Bench 4.0 上排第一，科学推理却只有 34%，按自己的用例查单项分比看总分有用。
• 评估内部 AI 项目时，优先用不公开的私有测试集，或直接拿真实业务任务做验收——公开基准的分数已被训练数据污染，参考价值在下降。