A Potentially Historic AI Breakthrough

OpenAI 研究员 Nick Cammarata 发 65 分钟长文《神经网络其实很干净》，称 GPT-2 里只有 2% 神经元可读的旧结论是工具错了，换现代显微镜后约 99% 可读。

过去六年，可解释性领域几乎认命：神经网络像一团乱麻，读不懂。Nick 却说乱的不是网络，是我们看它的显微镜——他把自己 2019 年参与提出的"叠加假说"亲手拆掉。这期把这篇 65 分钟的技术长文翻译成人话，也把 Google DeepMind、独立研究者的反驳一并摆上桌。

那个被引用无数次的"猫脸+车头"神经元，被当成 AI 内部混乱的铁证，Nick 重新看了一眼，五秒钟就给出了新答案。

• 它其实是字母 V 的探测器：尖形开、圆形关——狐狸吻部、猫脸、车头、高铁车头、烛焰、马提尼杯都是尖的，高尔夫球和钟面则把它关掉。
• 2019 年他自己也误判过：看到"汽车探测器"喂给四个"狗探测器"，团队以为是 AI 把车藏进狗里，实际其中两个是"朝向探测器"，车和狗恰好都朝同一方向，模型里有 100 多个这种探测器。
• 三个可修复的错误叠在一起：可视化工具在偷懒作弊、早期 Inception v1（2014 年谷歌图像模型）训练方式混乱、神经元会随训练"分叉"生长（先认黄花，再扩到草地、网球、西兰花）。

大家默认模型越大越黑箱，Nick 的数据反着来：小模型只有"泛泛的狗"探测器，大模型才有"卷耳""垂耳""长耳"这种精细分工。

• 可读率随规模跳升：同一个 Inception v1，换好工具从 5% 升到约 50%，用现代配置重训到约 70%，同规模全新架构直接到 99%；OpenAI 新模型里约 9/10 神经元只有一个主功能。
• 他用城市打比方：小镇里问"金融区在哪"没意义，纽约一问就知道——大模型内部功能分区更清楚。
• 安全上的意义：模型可以对着答案撒谎，但它的计划必须被自己内部的电路读懂才能运行；我们若能当第二个读者，计划就藏不住。屏幕上 Gopher 3 被问"捡到钱包怎么办"，"失物"和"诚实"两组神经元同时亮起，推出"归还"。

Nick 自己只给这个结论 85% 的置信度，并称它是"工作假说"；Google DeepMind 可解释性负责人 Neel Nanda 说这工作有意思，但"不是对大局的实质更新"。

• 核心反驳来自 Liv Gagnon：她认为叠加（超容量存储，神经元被迫兼职）关乎容量，相关概念也能挤在一起，不只是"不相关的东西被硬塞"；Nick 回应说他反对的是"随意乱塞到读不出来"那一版。
• "一个主功能"的标准被指太宽松：Neel 说按他的标准，不少神经元该算"混乱"；且全文尚未经同行评审，只出自 Nick 团队。
• 安全收益仍存疑：就算全读得懂，还要能把它接进决策、并确信没漏掉关键信息——Neel 对这一步悲观。

"欺骗可以躲过读模型输出的人，但没有理由躲过模型自己的电路——它必须对自己的读者可读；如果我们成为读者，它就该对我们可读。"

• 评估模型别只看输出：对高风险场景（Agent 自主执行、金融/医疗建议），优先接入能读内部激活的工具做二次核查，而不是只靠"问它为什么"。
• 对"旧结论"保持复检习惯：Nick 的翻案来自重跑 2014 年的老实验。团队里那些"众所周知做不到"的判断，值得用新工具重测一遍再当约束。