Anthropic Researcher Says 10% Chance AI Kills All Humans

Anthropic 研究员 Jacob Kiskin 辞职，称两家 AI 公司"拿我们的命赌博"，同事 Evan Hubinger 补刀"十年内灭世概率超 10%"，两条推文近 2 亿浏览。

AI末日未必最危险，模糊恐惧立法才是

本期没有受访嘉宾，而是《The AI Daily Brief》的一期主播评论。这档日更播客和视频节目，定位是追踪“AI最重要的新闻与讨论”。它选中的切口很窄：前 Anthropic、OpenAI 研究员 Jacob Coxin 辞职，称前沿实验室正在拿所有人的生命下注；仍在 Anthropic 任职的对齐科学负责人 Evan Hubinger 随后称，未来十年 AI 杀死人类的概率超过 10%。但节目真正追问的不是“你信不信末日”，而是：当这种警报冲出 AI 圈、抵达国会、媒体和普通人的手机时，我们究竟会得到更好的治理，还是一套由恐惧驱动的坏规则？

这期回答了 7 个问题：

1. 为什么一条“AI可能毁灭人类”的帖子这次能突破AI圈层？
2. 研究员给出10%灭绝概率，到底是在警告当下模型还是未来能力？
3. 公众热议AI末日，为什么反而说明我们没有“梦游式”地走向风险？
4. “禁止超级智能”和按能力设许可，政策后果究竟差在哪里？
5. 为什么AI实验室应先联合提出节奏方案，再把问题交给政府？
6. 对遥远的超级智能投入政治注意力，会不会挤掉眼前的网络安全治理？
7. 如果AI强大到足以造成灾难，为什么也必须把它的正向收益纳入讨论？

被问到为何这次 AI 灭绝论会比过去同类警告传播得更广时，主播先摆出了传播规模。Jacob Coxin 的辞职帖在录制时接近 1.5 亿浏览；Evan Hubinger 转发并补充“超过 10%”判断的帖子，已有 3950 万浏览。两条帖文不只停留在 X 上：Axios、BBC、《华尔街日报》、Time、Wired 等媒体跟进，Jacob 还登上 Anderson Cooper、NBC 和 Fox News。节目甚至因此暂停常规新闻盘点，专门做了一期讨论。

这波传播之所以容易被误解，是因为 Hubinger 的说法听上去像在描述眼前已经失控的模型。但他随后澄清，现有模型风险较低；他担心的是“递归自我改进”——系统用自身能力持续提升自身，进而产生超级智能——而且这一过程比他此前预期更快。也就是说，10%不是对今天聊天机器人行为的概率预报，而是对一条未来能力路径的严厉判断。

主播的结论是："This is all exemplary of us not sleepwalking."（这一切恰恰证明，我们并没有在梦游。） 这意味着，治理机制不只是等灾难发生后再验证谁预测对了，更要让能力跃迁前的担忧进入公共视野，接受质询、争论和政策反馈。风险被看见，至少说明社会没有把方向盘完全交给实验室。不过，关注不等于预测成立。未来的两种对立判断天然难以证伪，热度既能带来监督，也能把讨论推向愤怒和阵营对骂。

被问到“AI 会毁灭人类”的警告究竟该怎样变成政策时，主播泼了一盆冷水：最危险的不一定是风险判断本身，而是把判断说成一团无法落地的恐惧。现实里，伯尼·桑德斯已表示将推动“禁止超级智能、暂停 AI 开发”的立法；与他合作的众议员 Greg Casar 则把两名研究员的发言称作“紧急情况”，要求国会举行听证会。口号足够有冲击力，但它没有回答一个更麻烦的问题：禁什么能力、管什么行为、谁需要承担什么责任？

主播拿两种工具作对比。“禁止超级智能”是钝器；另一种思路是，当模型能力达到特定门槛、有人要把它用于生物工程时，再设置明确许可制度。技术记者 Taylor Lorenz 的要求也很直接：如果员工真认为公司在危及全人类，就应拿出能够纠正问题的具体证据和记录，而不能只留下模糊警报。主播因此说："I fear that the generic handwaving of these sorts of predictions make them much more dangerous for policy."（我担心，这类预测中泛泛而谈的姿态，会让它们在政策层面变得更加危险。）

这意味着，监管的单位不该是“你是否相信末日”，而应是能观察、能审计的组合：什么能力、什么用途、什么使用者、在哪个节点触发干预。这样规则才有机会约束高风险行为，而不是把所有技术进展和个人自由一起装进禁令里。边界也很清楚：超级智能究竟会沿哪条路径失控，目前没有共识；但“路径说不清”不能自动变成“什么都不管”，它只要求政策对不确定性更克制、更具体。

被问到在“全部加速”和“全部关停”两种叙事互相挤压时，政策还能从哪里开始，主播没有提出一套包打天下的 AI 法案。他给出的起点很朴素：某些类型的报告要求和监督机制。报告要求，简单说，就是让开发或部署强大模型的机构必须披露规定信息；监督则是让外部主体能检查这些信息和相关流程，而不是只听公司自己保证“我们很负责”。

这类安排看似不够刺激，却恰好绕开了最难的问题：社会不必先就“超级智能会不会毁灭人类”达成哲学一致，才开始建立治理能力。主播认为，媒体最爱放大两端立场，反而遮住了中间地带原本就存在的协商空间。原话是："there is an incredible amount of space to build consensus from the ground up on common sense things."（从常识性的事项自下而上建立共识，其实有极大的空间。）

这意味着，AI 治理可以像搭脚手架：先让信息有入口、责任有记录、监督有位置，再处理减速、测试、能力边界这些冲突更强的议题。程序规则未必能直接阻止某个危险模型出现，但它会让后续规则不必从零开始，也更容易判断一家公司究竟做了什么、漏了什么。反面同样不能忽略：报告和监督只是地基，不是房子本身。它们无法替代对“是否放缓前沿模型”“谁来划定能力红线”的艰难决定，更不会自动消除实验室之间抢先到达的竞争冲动。

被问到前沿实验室怎样摆脱“别人会先做，所以我必须先做”的竞赛逻辑时，Jacob Coxin 的辞职帖已经把矛盾说透：他认为 Anthropic 理解文明级风险，却因为相信其他人不会负责任，只能被锁进抢先抵达的比赛。这种逻辑的账单很吓人——每家公司都说自己是在防止更不负责的对手先到终点，于是谁都缺少放慢的动力。

前 OpenAI 研究员、现 Thinking Machines Lab 成员 John Schulman 提出的顺序是：先让 OpenAI 与 Anthropic 停止互斗，共同拿出一份 pacing proposal，也就是对研发节奏、测试或披露做出可执行的提案，再去找政府。Schulman 特别指出，反垄断法禁止的是某些竞争者之间的协议，并不禁止企业共同起草一份政策建议；若没有具体方案就先把政府拉进来，结果很可能很糟。主播把这件事说得更具象："A single photo op of Sam Alman and Dario Amade alone together agreeing would do more than 10,000 Twitter debates ever could."（Sam Alman 和 Dario Amade 只要一起公开站台达成一致，一次就能胜过一万场Twitter辩论。）

这意味着，公开争论再激烈，也改变不了竞赛中的实际激励；能改变激励的，是竞争者先把“什么情况下减速、怎么测试、披露到什么程度”写成可讨论的作业。否则，政府接手的只会是一堆互相冲突的恐惧和游说。难点在于，企业协调有商业竞争的阻力，也有国际竞争的压力。尤其“既然中国会做，美国就必须抢先”的前提，主播认为不能只靠重复就当成事实。

被问到该优先防范未来的超级智能，还是先处理当下风险时，Hubinger 的澄清提供了一个重要分界：他认为当前模型风险低，真正担忧的是由递归自我改进带来的超级智能。这个判断并没有取消现实中的安全问题。主播指出，网络防御基础设施并没有为即将到来的新环境做好准备；随着模型能力进入攻击与防御链条，网络安全不是遥远假设，而是正在逼近的明确风险。

他的原话很短："our cyber defense infrastructure is not equipped for the new world we're moving into."（我们的网络防御基础设施，还没有为我们正进入的新世界做好准备。） 在节目更早的梳理中，网络安全之所以比许多末日叙事更容易进入政策讨论，恰恰因为它与当前模型能力有关，也已经有现实事件可供分析。它不是“某天可能发生什么”的泛化担忧，而是“现在有哪些系统扛不住”的问题。

这意味着，争论的真正稀缺品不是技术上能不能双线作战，而是政治意愿。理论上，社会当然可以一边研究超级智能的长尾风险，一边补网络防御的缺口；可立法、预算、公众关注和行政执行都有限。越是让遥远而抽象的灭绝叙事占满议程，越可能让眼前可识别的防御缺口少一份投入。这不是要求二选一，而是要求承认资源分配确实有机会成本：把注意力投向哪里，就意味着另一些风险暂时得不到同样强度的响应。

被问到为什么公共讨论不能只围绕 P-doom 展开时，节目把 P-doom 先放回它应有的位置。P-doom 指的是人们赋予“AI 导致人类灭绝”这一极端结果的概率，例如 Hubinger 所说的超过 10%。它可以是风险讨论的一部分，却不是全部账本。OpenAI 生命科学工作人员 Chris Haydock 的看法是，AI 已经并将继续是对人类极有益的技术，问题也应包括它可能拯救多少十亿人的生命。

另一边，David Zel 用一个对称的判断指出：若 AI 真强大到足以终结世界，它按同样的逻辑也应该强大到能显著改善世界。"If AI is powerful enough to end the world, it must be powerful enough to radically improve it, too."（如果AI强大到足以终结世界，它也必然强大到足以彻底改善世界。） 节目还援引 Joe Bernett 的说法，主张除了 P-doom，也要谈 P-boom：超级智能带来前所未有的人类繁荣的可能性。

这意味着，安全政策不是“风险派”对抗“发展派”的口号战，而是一道更难的比较题：不同限制措施能降低多少灾难性风险，又会放弃多少医疗、人类福祉和更健康长寿的潜在收益。不能因为收益可能巨大，就把任何风险都当作可接受；同样，也不能因为尾部风险令人恐惧，就假设停下来的机会成本为零。真正要评估的，是同一份能力在不同约束下，会把社会推向怎样的损失与怎样的收获。

这期节目的主线，不是替“AI 会不会毁灭人类”下最终判决，而是追问社会该如何在判决尚无可能时行动。第一条“末日讨论登上头条，不是社会梦游而是社会终于醒着”，强调公共注意力本身是治理开始运转的信号；第二条“风险说得越模糊，出台的政策越可能越危险”，又提醒我们，醒着不等于应该慌张地抓起任何一把政策锤子。

这两条并不矛盾。它们共同指向同一件事：风险讨论必须存在，但讨论必须被拆成能检验、能约束、能修正的对象。若只剩“AI 可能灭绝人类”，政治人物最容易回应的就是宽泛禁令；若只剩“不要妨碍创新”，实验室又可以把所有质疑归为恐慌。于是，第三条提出从报告和监督这类小共识开始；第四条要求最了解技术、也最受竞赛驱动的实验室，先给出可执行的协调方案，而不是把一团未整理的矛盾丢给政府。

第五条和第六条则把账算得更完整。网络防御基础设施的缺口，是当下要补的洞；超级智能可能造成的风险，是不能等到出现后才讨论的洞。政治注意力有限，不能假装两者不会争夺资源。同时，P-doom 之外还有 P-boom：一项足以改变安全格局的能力，也可能改变生命科学和人类福祉的上限。

对读者而言，最有用的提问或许不是“你站末日派还是乐观派”，而是每次看到一项 AI 警报、一个监管提案或一家公司的安全承诺时，都追问三件事：它具体指向什么能力和场景？它准备怎样被监督？它在降低风险时，又牺牲了什么确定或可能的收益？把问题问到这里，才不容易被最响亮的恐惧，也不容易被最轻快的乐观，替自己做完判断。