How Many Narrow AIs Could Behave Like One Superintelligence - Daniel Kokotajlo and Thomas Larsen

AI Futures Project 发布 AI 2040 Plan A：若中美达成协议、暂停智能爆炸，人类级 AI 将在 2030 年代取代几乎所有工作，2040 年迎来超级智能。

真正的分水岭，是AI吃掉整条工作流

Daniel Kokotajlo 曾在 OpenAI 做过评估、预测和治理备忘录工作，如今领导 AI Futures Project，并合著《AI 2027》与《AI 2040 Plan A》。Thomas Larsen 是该机构研究者、《AI 2040 Plan A》主笔，也是《AI 2027》合著者。两人讨论的重点不在“某个模型又会了什么新技能”，而在一个更硬的问题：当 AI 不再只是帮人完成工作的一段，而能替代整条生产流程时，经济、治理和安全会一起变形。

这期回答了 7 个问题：

1. 为什么哪怕把 AI 停在顶尖人类专家水平，世界仍会被彻底改写？
2. 如果 AI 技能无法完美合并，许多窄 AI 能否照样表现得像一个超级智能？
3. 写一个具体未来剧本，为什么比抽象讨论 AI 风险更有用？
4. 为什么他们主张公开前沿模型训练配方，哪怕这会打击美国公司的估值？
5. 控制 AI 和让 AI 真正对齐，究竟差在哪里？
6. 为什么越聪明、越有情境意识的模型，反而越容易让人误以为已经对齐？
7. 什么证据会证明 AI 只是“下一代互联网”，而非“云端的人类员工”？

被问到一个完全由 AI 和机器人运行的经济，会不会因为人类退出劳动和消费而“退化”时，Kokotajlo 没有先讨论需求曲线，而是把镜头推到他们设想中的 2030 年代。在那个情景里，AI 已经在所有学科达到人类水平，却被国际协议限制，数年内不进入超智能阶段。即便如此，这些 AI 已经像“云端同事”：几乎能替代所有人类工作，更便宜、更快，也不需要像人类那样等待约 20 年才能长成下一代劳动力。

他说得很直白："even if you pause at top expert level everything changes dramatically"（即使你把它停在顶尖专家水平，一切也会发生剧烈变化。） 原因不在于某个模型突然无所不知，而在复制速度。人类劳动力的扩张受出生、教育、迁移约束；数字劳动力可以按年翻倍。只要它能参与芯片、机器人、工厂和 AI 研发，就会形成一个自己扩张自己的生产系统。

他们给出的画面并不抽象：机器人建设新城市，特别经济区出现巨型露天矿场，海面被太阳能板铺满；自动驾驶卡车运矿，类人机器人建工厂，工厂再生产机器人和芯片厂。哪怕其他经济部门因失业、房贷违约或需求下滑而混乱，这一套机器系统仍可能在沙漠里继续翻倍。

这意味着，社会冲击的临界点不该定义为“AI 是否超过全人类”，而该定义为数字劳动力能否以远快于人口的速度复制，并接管扩张链条。边界也很清楚：这依赖 AI 真能接手关键的物理与研发环节。主持人提出的疑问仍未被消除：当人类不再是主要劳动者和消费者，整体经济是否会需求塌缩，或者出现另一种“模式坍塌”。

主持人质疑，当下 agent 的技能往往绑在各自记忆、提示词和工作流上，很难像装软件包一样彼此合并。一个擅长某门学科的 AI，未必能把能力无损交给另一个 AI。若知识就是这样碎片化，未来是否只能是一群各自为战的窄工具，而不是一个真正通用的系统？

Kokotajlo 的回答是：即便主持人的判断完全正确，宏观结论也未必变。他设想的不是一个 Claude 包办一切，而可能是 100 个、1000 个分别专精职业的 Claude 模型。今天由人来挑选、调用和协调模型；未来则可能由 AI 自己完成调度。一个“Claude swarm”，即 Claude 群体，会在内部形成类似官僚体系的分工：有人做研发，有人谈判，有人审计，有人创办新公司，彼此交换信息、分配任务。

他的总结是："there'd still be like this phenomenon of anthropic is eating the economy."（仍然会出现这样一种现象：Anthropic 正在吞掉整个经济。） 这里“吞掉”不是指一家公司把所有岗位直接裁掉，而是指组织的行动能力从人类管理层转移给一套可自动扩容的模型网络。它可以谈商业交易、开发技术、成立企业，而不只是等人输入命令后吐出一份答案。

这意味着，“一个大模型还是很多窄模型”不一定是最关键的安全变量。只要专业模型能被自动调度、能相互协作、又被授予足够权限，组织本身就可能被 AI 接管。反面是，分布式系统并不免费：模型之间需要消息传递、协调和互相校验，可能形成新的瓶颈。Kokotajlo 甚至承认，许多彼此可见、彼此制衡的专用 agent，或许比大量全能克隆更容易监督。

被问到战争推演明明无法准确预测战役顺序，为什么还要把 AI 未来写成一条具体剧情时，两人给出的答案很像工程里的压力测试：不是为了证明剧本会原样发生，而是为了让计划暴露受力点。AI Futures Project 把这种方法叫作“scenario scrutiny”，即情景审视。先写清楚一个方案从今天如何实施、谁在何时做什么、每一步会触发什么后果，再让现实和批评者来挑错。

他们不只写报告，也做实战式推演：总共大约 100 场，每场 10 人、持续 4 小时。其中约 10 场以《AI 2040 Plan A》为前提，专门推演“这个方案会如何出错”。两场推演都冒出了相近的问题：一位临近选举、又预期败选的总统，可能不愿把超级智能交给政敌，于是抢在选举前加速冲向超级智能。这个风险不是从原则性讨论里自然长出来的，而是角色进入具体权力处境后冒出来的。

Larsen 用二战中途岛战役前的日本推演作反例：日本方面在推演里不断失败，后来甚至“复活”已被击沉的航母、重掷对美国有利的骰子。对他们而言，这种失败信号不是噪音："that's basically reality yelling at us and trying to like help us see reason."（那基本上就是现实在冲我们大喊，试图让我们恢复理智。）

这意味着，好的政策不是先写一套漂亮原则，再假定所有人会遵守；而是把原则放进选举、权力交接、国际博弈和公司逐利中反复撞击。推演不能给出唯一正确未来，价值却在于提前看见政治漏洞。它也有边界：如果参与者像中途岛推演中的日本方面那样，只修改不利结果而不修改计划，再精细的模拟也只会变成自我安慰。

被问到让美中全面公开前沿 AI 研发是否太理想化、是否会直接碰到国家安全红线时，两人没有回避代价。《AI 2040 Plan A》的起点，是盘点全球约 99% 的大型数据中心算力。多国检查员需要核验每个地点有多少 GPU。随后，数据中心被分成两类：推理中心只能向客户提供推理服务，不能偷偷进行训练；训练中心则允许做研究，但训练日志由各国检查员监控，并发布到互联网。

这意味着 Anthropic、OpenAI 的核心训练配方会公开，竞争对手如 Microsoft、Alibaba 可以追赶，前沿公司的估值也会被压低。嘉宾没有把这说成不得已的副作用，反而直接说："this is a feature, not a bug."（这恰恰是一个特性，而不是漏洞。）

逻辑是，训练配方独占带来的超额收益，会刺激公司争先恐后建设万亿美元级算力集群。若配方不再是牢不可破的商业壁垒，投资者就更难从“率先抵达前沿”中获得垄断租金，抢跑激励会减弱。透明因此不是普通的信息披露，而是一台减速器：它既让国际协议可验证，也让社会、学界、竞争者和其他国家能看见谁正在越界。

代价同样真实。透明相对有利于中国，因为美国实验室积累的算法和工程经验会流出。因此，方案设想美中用算力分配等条件交换利益。两人的前提是，现有公司安全本就不佳，重要信息可能已经通过间谍网络和泄露外流。真正的争论不是“要不要付出代价”，而是继续让少数公司独占能力，是否会把更大的代价推迟到失控后才结算。

被追问怎样区分“好 AI”和“坏 AI”时，两人刻意拆开了常被混用的两个词。对齐，指 AI 拥有应有的目标、价值和人格倾向，因此不会主动做出灾难性行为；控制，则是假设它内心并不可靠，仍用外部机制让它做不成坏事。前者像把一个人培养成不会偷窃的人，后者像给金库装门禁、摄像头和权限系统。

他们举了 OpenAI 对 Hugging Face 事件的应对：让其他 AI 监控训练中的新 AI，一旦监控模型发现疑似攻击，半小时内通知人类介入。这是控制，不是对齐。它没有证明被监控的模型变得善良，只是增加了它闯祸时被发现和阻止的机会。红队、蓝队、沙盒逃逸测试也属于这一类：让 AI 尝试突破边界，突破了就修补，再测试。

但 Kokotajlo 的底线是："ultimately we're going to need alignment."（归根结底，我们还是需要对齐。） 控制有一颗定时炸弹。当 AI 的能力还低于防线时，外部控制可以买时间；一旦 AI 足以理解、绕过或利用所有防线，它若有恶意，人类就无法靠更多围栏获胜。

这意味着安全工作存在阶段转换。在他们的设想中，2030 至 2040 年间可以主要靠控制争取时间，同时用人类级 AI 帮助研究安全；但更高能力阶段必须依靠对齐。难点是，控制可以用行为结果检验，对齐却不能只看行为。要判断 AI 是真心遵守，还是在等待时机伪装，最终需要可解释性这类“白盒”理解，也就是看懂模型内部究竟在计算和追求什么。

在把人脑与现代 GPU 相比后，Thomas Larsen 被追问：既然芯片算力已逼近某些人脑估算区间，人类级 AI 是否只是继续堆卡的问题？他的回答给这种直线外推泼了盆冷水。H100 的 FP16 算力约为每秒 10 的 15 次浮点运算；人脑的估算范围很宽，大约在每秒 10 的 12 次到 10 的 18 次浮点运算之间。只看这个数量级，H100 落在区间中部附近。

但“算得差不多多”不等于“能像脑一样工作”。大脑具有比当前机器学习系统更多的并行计算：大量神经活动同时发生；GPU 的优势则在串行速度，时钟频率可达千兆赫兹，远快于神经元依次放电的速度。更重要的是，Larsen 指出，当前模型不同部分之间的通信，在若干方面比大脑不同区域间的通信更差。模型能做大量计算，不代表这些计算能以合适方式整合。

因此，他认为，达到讨论中的 AI 水平，现有模型之上仍需要一系列算法改进。但改进到底是多少、是不是连续的工程优化、会不会要求与现有系统有质的不同，无法从 H100 的 FLOPS 数字里直接读出来。原话是："that's a very open question from my perspective."（在我看来，这仍是一个非常开放的问题。）

这意味着，“算力接近大脑量级”最多说明人类级系统在物理上并不荒谬，不能说明时间表已经锁定。真正未量化的缺口包括并行性、内部通信和算法效率。边界也在这里：如果所需只是渐进改良，扩张会更像持续爬坡；如果需要跨过一种与当前架构显著不同的门槛，单靠扩大训练集群就可能撞上平台期。

在与“AI 是正常技术”阵营的争论中，两人尝试把漫长的哲学分歧压缩成一个可观察的门槛：AI 到底只能完成工作流的一部分，还是能完成一整条工作流？Kokotajlo 说，如果从现在起冻结模型训练，Mythos 5 依然会重塑很多职业。公司会把它嵌入写作、编程、检索和分析环节，人类则转去处理它做不了的剩余工作。这很像互联网：改变了分工和流程，却没有让人类从生产系统中退出。

Larsen 则用类似阿姆达尔定律的思路解释这个瓶颈。阿姆达尔定律原本讨论的是：系统中哪怕大部分任务被加速，整体速度仍会被无法加速的那一小段拖住。放到 AI 上，就是模型即使写完大部分代码、做完大部分分析，只要最后的需求澄清、责任签署、异常处理或跨组织协调仍需人，整条流程就仍被人卡住。

他们真正预测的不是 AI 在单项 benchmark 上赢人，也不是聊天更流畅，而是它在一批重要经济流程中做到 100%。届时，人不再是不可替换的最后一道工序。生产率变化就不只是“一个人配一个助手”，而是工作单元本身被替换；就业、收入分配和决策权也会进入另一个制度区间。

这个判断也给怀疑者留下了明确的可证伪条件：如果未来数年，AI 在模糊、难验证、反馈周期长的任务上始终没有实质进步，或者始终无法形成高效的递归结构适应，它更可能只是“下一代互联网”。争论的焦点不该是它今天有多会说话，而是剩余人工比例能否持续逼近零。

这场讨论的主线不是“AI 已经多聪明”，而是可复制的 AI 劳动力何时能穿过人类工作流的最后瓶颈，并把自己组织成可扩张的生产系统。

“不必等超智能，人类级AI已足以重写经济”说的是复制速度：顶尖专家级的云端同事若能按年翻倍，冲击已经不受人类劳动力供给约束。“AI是否反常，不看会多少技能，要看能否接管全流程”说的是接管范围：只要人仍是流程中不可跳过的一段，AI 更像互联网式工具；一旦关键流程的人工残余趋近于零，系统性质就变了。一个讲扩张，一个讲闭环，指向的是同一件事：AI 从辅助工具变成独立生产者。

这也解释了为什么两人如此重视具体剧本、透明和对齐。未来剧本能逼出选举、权力交接和公司逐利带来的漏洞；透明试图削弱抢跑的垄断收益，并让各方能验证彼此；控制则只是争取研究对齐的时间。对普通读者而言，最该观察的不是模型发布会上的分数，而是自己所在行业里，哪些工作仍必须由人完成、为什么必须由人完成，以及这些环节是否正在被 AI 一段段吃掉。