The Neuron Basis: Goodfire's Curt Tigges on Agentic Interp, Monosemanticity & Reverse Engineering

Goodfire 发现 Qwen3-35B-A3B 里 90% 神经元可关掉而性能几乎不掉，单个神经元大多只有一个主要功能，还能用 AI agent 自动写说明书。

主流看法是神经网络内部像一团乱麻，单个神经元被无数概念复用，只能靠稀疏自编码器这类“翻译器”去猜。Goodfire 的 Kurt Tigas 和 Nick Camarada 却给出相反证据：神经元其实相当干净，还能用 agent 大规模逐个读懂。这期讲他们怎么证明，以及这个结论能推到多远。

研究对象是 Qwen3-35B-A3B，一个总参数 350 亿、每次只激活 30 亿的混合专家模型，40 层、每层约 13 万神经元，分在 256 个专家里，每次前向只走其中 8 个。

• 5 百万个神经元，实际能表达 1000 万种意思：每个神经元有正负两个激活方向，正负可代表完全不同的概念，模型会分开读取。
• 每个神经元吃两路信号：一路“上投影”负责识别内容，一路“门控”负责判断该不该响应，两者相乘才决定激活强度。好比门控问“现在是不是做饭语境”，上投影问“这是不是大蒜”，两个都点头才强烈放电。
• 门控用的是 SiLU 激活函数：它允许门控值偶尔为负，比早期 ReLU 网络更灵活，也让神经元更容易被读懂；这个结构由 Noam Shazeer 在 2020 年提出。

他们做“消融”实验：把大部分神经元输出抹掉，只留激活最强的那些，看模型还能不能正常答题。结论是能，有些地方反而更好。

• 每个专家只留最强的 64 个神经元，约等于砍掉 88%：多数基准上性能和原模型基本持平，推理任务会开始出问题，比如反复自我检查、绕圈。
• 补一点微调就能救回来：在稀疏化后的模型上做少量后训练，大部分性能损失可恢复，部分基准甚至超过原模型；ARC-AGI 上砍得越狠反而涨分，因为内部干扰变少、更自信、更快给出答案。
• 按百分位砍和按 top-K 砍不是一回事：百分位拿每个神经元自己的历史激活范围做标准，top-K 是每个专家内部按强度排序保留，后者让模型自己决定什么重要，效果更好。

人工看激活样本太慢，他们造了一个叫“神经元科学家”的 agent，用前沿模型逐个生成每个神经元的功能说明，再用另一套系统验证。

• 流程是：聚类激活样本 → 提假设 → 做实验 → 被打回重写：agent 能自己造句子、改一个词做对照、跑 steering，和人类可解释性研究员干的事一样。
• 验证方式是让另一个模型家族（他们用的是 Jev）按描述预测每个 token 的激活强度，再把这些预测值塞回原模型，看能挽回多少损失，结果恢复了约 74% 的 KL 散度损失。
• 有个神经元一开始完全看不懂：50 token 窗口里它出现在烹饪、指令、法律文书各种地方，毫无共性；深入查才发现，它专门盯“列表的第二项，且列表内容在约 1000 token 前以另一种格式出现过”。

“单个神经元比领域此前认为的要可解释得多——它们确实复杂，但通常只是一个紧凑的含义集合，而不是几百种意义搅在一起。”

• 如果你在做模型监控或安全审计，可以先试最便宜的一步：按 top-K 砍掉每个专家里弱激活的神经元，看任务性能掉多少。掉得少说明关键行为集中在少数强激活上，监控面可以大幅收窄。
• 给 agent 配一套“能改输入、能重跑、能看激活值”的工具，再让另一个模型家族按它的文字描述去预测激活并打分，这套“写假设—实验—交叉验证”的循环可以直接搬到自己的模型或 SAE 特征上。