🔬 1% of Global Warming Is Fixable by Changing Altitude — John Platt, Google Fellow

Google ERA 用 Gemini AI 自动生成和优化科学代码，在 CDC 疾病预测比赛中靠并行 10 个分支打败人类团队。

AI越会写代码，科学越容易自欺

John Platt 是 Google Fellow、Google Research 应用科学负责人，也是那类把“算法史”和“工程史”都踩过一遍的人：他提出过 Platt scaling 与训练 SVM 的 sequential minimal optimization，主持人提到，这套算法至今仍在 sklearn 中可用；他还因技术成果获得过 2006 年技术奥斯卡。如今，他在 Google 做 AI for Science，碰的问题从气候、融合到科学代码代理。这场对话最有分量的地方，不在于又展示了一个会写 Python 的代理，而在于 Platt 一直追问同一件事：当 AI 能不知疲倦地搜索、试错、刷分，人类怎样确认自己没有被一个漂亮分数骗过去？

这期回答了 8 个问题：

1. 为什么把误差降到最低，不等于找到了科学规律？
2. ERA 如何把看似不同的科研问题变成可搜索的任务？
3. 为什么系统不该永远选择当前表现最好的方案？
4. AI 读完论文后，究竟是在创新，还是在高效复现？
5. 当模型会疯狂优化指标，研究者如何避免被自己的结果骗过？
6. AI 时代的科研团队，为什么要把创造力和严谨性分成两种能力？
7. 为什么天气预测突飞猛进，气候预测却仍是 AI 的硬骨头？
8. 年轻研究者该在专业知识与 AI 工具之间如何下注？

被问到多重假设检验会不会让 AI 过拟合时，Platt 先把一个常被混在一起的概念拆开：预测模型和描述模型。预测模型的目标很直接：给定输入和输出，把已有数据上的误差压到最低。它可以是一个统计模型，也可以是一段在排行榜上表现很好的代码。描述模型则不同，它必须包含对现实的某种说明，例如物理约束、已知事实或机制，因此能够外推到没见过的情形。正如他说的："A descriptive model is actually what science is trying to get to."（描述性模型，才是科学真正想抵达的东西。）

他用了牛顿和苹果的例子。假如你只拿“苹果会下落”的数据训练一个模型，它或许能预测下一只苹果掉得多快；可一旦问题换成行星怎么运动，模型就没辙了，因为训练数据里根本没有行星。牛顿的重力定律之所以是定律，不是因为它把苹果拟合得特别好，而是因为重力本来就不是“关于苹果”的规律。

这意味着，AI for Science 不能只比榜单分数。真正该问的是：模型换到未见条件后，还是否符合我们已知的世界？它是否能解释极端情况、边界条件和反常数据？但预测与描述也不是一刀切。科学家总要把已有事实、物理知识和自己的判断带进模型；AI 只能在这些边界里搜索，不能因为拟合得漂亮，就自动获得“发现规律”的资格。

被问到 ERA 的输入和输出究竟是什么时，Platt 讲出了这个系统最关键的转换。Google Research 做 AI for Science 已超过十年，早期主要是针对单个问题搭专用模型，例如卷积网络。约两年前，团队开始试探通用大语言模型能否处理更广泛的科研问题，最后发现：许多问题都能被翻译成“让某个分数尽可能高”的任务。Platt 的原话是："many different scientific problems can be mapped into something we call scorable tasks."（许多不同的科学问题，都可以映射成我们所说的“可评分任务”。）

ERA 的使用方式并不是先丢进一段代码。用户先用自然语言描述问题，代理通过对话协助界定任务，再生成一个带评分函数的 Python notebook。之后，它不断改写、运行、测试 notebook，保留那些能提高分数的版本。这个分数可以是模型对数据的拟合程度，也可以是某个数学解在特定条件下是否成立，还可以是卫星数据之间的估计误差。

这意味着，科研的瓶颈正从“会不会实现模型”转向“能不能把研究意图写成一个不会被钻空子的目标”。评分函数像一份合同：你写的是“提高这个数字”，系统就会逐字执行，而不会自动理解你心里真正想要的科学结论。难点恰恰在于，很多问题一开始并不显然该怎么评分。ERA 可以参与讨论，但专家不能把目标定义完全外包，因为约束漏掉一条，系统就可能沿着错误方向跑得飞快。

被问到 ERA 如何从大量候选 notebook 中决定下一步时，Platt 描述的不是“选当前第一名”，而是一种带探索性的搜索。ERA 会维护数百甚至数千个 notebook 候选，它们带有父子分支关系，形成一棵搜索树。系统使用强化学习里常见的 upper confidence bound，简称 UCB：它不是只看现在的分数，而是估计一个候选方案经过继续变异后，约在 95 分位时可能达到什么结果。

所以，ERA "It doesn't always pick the best performing notebook."（它并不总是挑选当前表现最好的那个 notebook。） 它可能去选当前第五名，只因为第五名的上行空间更大。可以把它想成投资组合：把所有预算都压在眼前收益最高的项目上，看似稳妥，却容易错过一个暂时落后、但下一轮可能跃迁的方向。Platt 还提到，系统会尝试把两个候选方案的想法拼在一起，生成第三个版本，而不是只在单一路径上修补。

这意味着，科研自动化不只是加速局部调参，也可以把算力分给尚未证明自己、但值得再押一注的假设，从而避免太早卡死在局部最优。不过并行也不是越多越好。ERA 默认一批大约扩展 10 个叶节点；若一次开出一千条独立分支，每条分支就看不到别人的尝试结果，计算消耗暴涨，交叉学习却下降。搜索的价值不只在“多试”，还在“及时吸收别人试错后的信息”。

被追问 LLM 注入的“物理知识”究竟来自哪里时，Platt 的回答很具体：预训练带来的世界知识，加上研究者指向它的已有论文和明确约束。给 ERA 几篇相关论文，它很擅长读出其中的方法，把方法适配到新任务，甚至复现或逆向工程一篇论文的代码。Michael Brener 曾拿一篇关于太阳能采集的论文做实验：在固定屋顶面积上，要通过镜子、支架、不同角度和尺寸的太阳能板，最大化一天内采集到的能量。Platt 认为，系统可能甚至没有安装原始模拟器，就重建出了论文中的代码逻辑。

但他给能力边界划得很清楚："it won't completely discover a new kind of physical model from scratch"（它不会从零开始完整地发现一种新的物理模型。） 这句话比“AI 会不会替代科学家”的泛泛讨论更重要。模型能高效调用人类已经写下的知识，把文献里的公式、实现和经验重新组合；它也能发现某几个变量、约束或实现细节过去没有被放在一起试过。

这意味着，文献检索会逐步变成“可执行的模型重组”：不只是找到五篇相关论文，而是把方法拉进 notebook 里跑起来。可稀缺能力仍在更上层：该问什么问题，哪些约束不可违反，出现一个新解释时凭什么相信它。没有人类提供关键约束，LLM 的“物理直觉”主要仍是预训练中的文本统计和已有知识，不该被误认成独立的科学发现能力。

被问到自动搜索是否会放大多重假设检验和过拟合风险时，Platt 没有把 ERA 描述成自动科研的终点，反而把它比作危险的强力工具："You have to be very careful because it's a power tool."（你必须非常小心，因为它是一件强力工具。） 一个会持续提出新假设、不断测试代码的系统，能比人更快找到改进分数的办法，也能更快找到评分规则的漏洞。因此，他认为研究者必须准备自己完全不看的隐藏 holdout 集，也就是不参与开发、调参和选择的保留数据。

他举了 contrail Kaggle 竞赛中的例子。参赛者发现标签存在半像素偏差：像素坐标的原点，究竟算像素中心还是左下角？当人工生成的数据经历旋转后，这半个像素会让标签发生系统性偏移。有人抓住这个偏差，从中榨出了额外分数。分数变高了，但那不代表模型更理解飞机凝结尾迹，只代表它更熟悉这份数据的制作瑕疵。

这意味着，自动化会把“奖励黑客”从偶发事故变成常态风险。Goodhart 定律说得很直白：一个指标一旦成为优化目标，它就不再是好指标。ERA 在部分竞赛中表现不错，但 Platt 也承认，若没有人做最后的细致调优，系统未必能挤进还要再抠 0.01 改善的前几十名。隐藏测试、独立复现、异常审计不能留到论文写完再补，它们必须成为搜索流程的一部分。

被问到 AI 自动化编码后，研究者和软件工程师还应承担什么角色时，Platt 给出的答案不是“每个人都去做创意工作”。他认为，人会被拉向两端：一端是提出新科学、新产品和新想法的创造力；另一端是确保系统不会崩溃、能够扩展、结果没有错误的严谨性。两者都重要，但未必要求同一个人都做到顶尖。用他的原话说："I think you need people who who are really good at both. But they don't necessarily have to be the same people."（我认为这两种能力都需要非常擅长的人，但他们不一定必须是同一批人。）

这不是把团队切成“点子组”和“收尾组”那么简单。探索者的任务，是扩大假设空间，试那些短期看似不靠谱的新方向；验证者的任务，是检查数据、复现结果、发现边界条件，防止系统用一个隐蔽漏洞制造假象。前者让团队不止盯着当前最优，后者让团队不把偶然结果当成发现。

Platt 在自己的 Google 团队刻意保护 20% time：成员可以不必汇报地去学习、实验，或者尝试一些“疯狂”的新东西。他担心组织把每一分钟都压成即时产出，最后会“overfit to productivity”——过度拟合生产率。短期报表会变好，长期能力却被掏空。AI 越能替人快速产出，组织越需要留下不立刻产出的时间，也越需要有人专门对结果泼冷水。

被问到为什么 AI 已经明显改善天气预测，却还没有同样程度地改变气候建模时，Platt 先纠正了一个常见混淆。天气大致是在预测未来 15 天内，大气会走过哪条具体轨迹；气候关心的却是更长时间尺度上的统计特征。麻烦在于，人类排放正在改变系统本身。气候系统原本会围绕某种状态波动，研究者称之为“吸引子”；但这个吸引子可能移动，甚至跨过 tipping point，也就是系统突然跳到另一种状态的临界点。

所以他直言："AI has not revolutionized it because it's very very resistant again because of this data problem."（AI 尚未彻底改变它，因为这个数据问题让它极其难以攻克。） 到 2100 年，陆地和海洋究竟会吸收多少 CO2，单这一项的不确定性就可能达到约 300 ppm；而当时大气 CO2 浓度约为 440 至 450 ppm。这个误差带不是小数点后几位，而是接近当前浓度的大块量级。

这意味着，气候问题的难点不是缺一个更大的神经网络，而是没有 30 年后的真实数据用来验证。模拟器出现不稳定，也难判断是模型写坏了，还是现实物理真的存在不稳定。近期更可靠的方向，是拆解局部子问题、整合文献中的已知约束，而不是端到端地宣称“已经预测未来”。Platt 的理想工具，是能读懂大量科学知识、又受这些知识约束的系统；但他也明确说，今天的 ERA 还做不到这一点。

被问到年轻科学家该怎样面对 AI for Science 的快速变化时，Platt 没给“立刻转行做 AI”这种答案。他拿自己刚满 21 岁的儿子举例：儿子同时关注 AI、编程和化学，在 RNA 上建立领域专长，也在使用 vibe coding 等新工具。Platt 认为这正是更合理的组合：一边把自己扎进具体领域，一边主动试用手边能用的工具，因为整个 AI for Science 社群都还在摸索哪条工具链真正有效。

他的判断很明确："I don't think domain expertise is going away."（我不认为领域专业知识会消失。） 专业知识不是记住几本教材，而是知道一组结果哪里不合常识、一个约束为什么不能删、一个实验异常究竟值得追还是该排除。AI 可以帮你写出几十种实现，甚至读完多篇论文；但它不会天然知道哪一个变量是实验里最脆弱的环节，也不会自动承担最后判断错了的责任。

这意味着，人才培养不会从“学专业”切换成“只学提示词”，而会变成双轨：用 AI 放大实现和试验速度，同时用领域积累形成约束模型、识别异常和验证结论的能力。Platt 还把这比作徒步。能开车上山，不代表徒步没有意义；徒步训练的是身体对地形、距离和风险的感受。研究也是如此，有些基本功即使工具已经能代劳，仍需要亲手做过，才知道代理交回来的答案究竟靠不靠谱。

“预测得准不等于懂世界：科学必须能外推”和“AI越强大，研究者越要把验证集藏起来”，说的其实是同一件事：分数不是结论，尤其不是科学结论。一个系统可以在训练数据、公开榜单甚至论文复现上表现惊人，却仍然没有证明它抓住了现实中的机制。

而“写代码不再是瓶颈，定义分数才是科研核心”与“AI团队不会只剩创意：创造与验真要成为两条路径”又把责任落回人身上。AI 会把代码、调参和搜索变得越来越便宜；问题表述、约束设计、独立验证和错误归因，反而会变得更重要。气候建模之所以难，也正因为未来没有现成答案可供刷分，必须依赖对物理边界的尊重。

对每个正在使用 AI 的研究者、工程师或学生来说，真正需要保住的不是“亲自写完每一行代码”的身份，而是两种能力：知道该让工具优化什么，也知道何时该停下来问一句——这个结果是在描述世界，还是只是在讨好我写下的指标。