Thinking in Silico: Goodfire CTO Dan Balsam on Concept Manifolds & a $1000/Month ML Research Agent

Goodfire 推出 Silico 平台，企业每席每月 1000 美元，让普通团队用上原本百万级定制的 AI 可解释性和调试工具。

AI 安全的终局不是监控，而是改写训练

Dan Balsam 是机械可解释性创业公司 Goodfire 的联合创始人兼 CTO。Goodfire 做的事，是把原本只供内部研究和训练大模型使用的工具产品化：其研究平台 Silico 已能支持万亿参数级模型的训练与可解释性研究。Dan 关心的不只是“模型现在在想什么”，还包括“它为什么会学成这样、下一轮训练会把它推向哪里”。这场对话把模型内部的几何结构、训练数据调试、研究 Agent、意识与开放安全放到了一条线上。

这期回答了 8 个问题：

1. 为什么只靠监控模型，可能不足以应对下一代 AI 风险？
2. 模型理解“星期几”时，为什么不是记住七个词，而是在内部画出一个圆？
3. 怎样在训练开始前，就预判一批数据会把模型带偏到哪里？
4. 找到一个导致错误回答的神经元后，为什么“调高它”仍不是真正的解决方案？
5. 一个每月 1000 美元的研究 Agent，究竟能替研究员完成哪些原本要数月的工作？
6. 当 Agent 已有不错的“研究品味”，人类研究者最该培养什么能力？
7. Claude 是否有一点意识？为什么 Goodfire 的 CTO 把它放在水母和老鼠之间？
8. 开放模型既能用于防御也能用于攻击，研究平台该怎样划出安全边界？

被问到能否依靠 JSpace 一类内部表征监控技术，以“纵深防御”解决对齐问题时，Dan 没有否认监控的价值。他认可 JSpace 的弱版本结论：模型内部确实存在值得监测的表征空间，找到它们可以帮助识别长程规划、危险行为或异常状态。但他不接受更强的说法，即用一个足够简单的技术，就能隔离出所有关键子空间，把安全问题一劳永逸地关在门外。

他的分界线在于模型是不是“冻结的一组权重”。如果模型部署后不再更新，研究者又能可靠地读懂其内部状态，那么探针、分类器和阻断机制可以组成多层防线：发现模型正在走向危险操作，就切断它。但如果模型在持续学习，今天监控到的安全边界，明天可能已被训练改写。Dan 的判断很直白："if the models are dynamic objects that are constantly training your only hope is to control the training process."（如果模型是不断训练的动态对象，你唯一的希望就是控制训练过程。）

这意味着，安全工作的重心会从“上线后盯着它有没有出格”，逐渐移到“能力形成时，它的内部回路被塑造成什么样”。监控像机场安检，能拦住带着违禁品的人；训练控制更像生产线质检，尽量别让危险品被造出来。Goodfire 现在仍把大多数精力放在分解和理解模型上，但也正增加“如何引导训练”的研究。边界是，若未来主流模型长期保持冻结状态，强监控可能足够；真正的问题是，没有人能保证模型会一直是静态资产。

被问到 Goodfire 如何修正“线性表征假说”时，Dan 先保留了一个重要前提：模型中的特征通常仍可被线性读取。也就是说，研究者往往能在激活空间里找到一个方向，判断模型是否正在处理“星期一”“悲伤”或某种蛋白质属性。被修正的，是更朴素的想象：每个概念都是彼此独立的一根向量，把它调大或调小就行。

Dan 认为模型更像“稀疏的子空间混合体”。星期几不是七个互不相干的标签，而是一个圆形子空间；这个圆又嵌在更大的“日历时间”概念空间里。从 Monday 直接切到 Friday，若走一条直线，就会穿过圆心。但圆心对模型而言不是任何一天，而是一个脱离训练分布的位置。沿着圆周移动，才是在模型熟悉的语义路径上前进。"you're not really going to understand the model if you don't understand the relationship between the features."（如果你不了解特征之间的关系，你就不可能真正理解模型。）

这不是漂亮的可视化而已。Goodfire 在蛋白质模型中发现，沿流形——即概念在内部空间中实际分布的曲面或曲线——进行控制，可以更好地调节 beta propeller 的叶片数量；过去用线性插值很难做到。早期 Ember 演示也暴露了老办法的毛病：控制太弱，模型没反应；稍一加大，输出就变乱码，只有狭窄的“甜点区”。这意味着未来编辑模型，不是拧某个旋钮，而是沿着概念允许的道路走。线性读取没有失效，失效的是“每个特征只有一维、彼此独立”的想象。

被问到 predictive data debugging，也就是“预测式数据调试”如何避免微调后的意外行为时，Dan 给出一个很实用的判断：模型绝大多数知识和能力来自预训练；后训练、微调和 RL，常常不是从零塞进一种新能力，而是把预训练时原本低概率出现的行为重新推高。换句话说，训练数据不是单纯往空白大脑里写字，它更像在一个已经装满东西的仓库里，反复给某些货架打灯。

Goodfire 的做法是，在正式训练前先让模型“看一遍”候选数据，观察哪些内部特征被激活，再预测这些数据会强化哪些下游行为。若一批数据异常推高某个不想碰的特征，研究者可以回溯到具体数据点：到底是哪几条内容造成了这个效果。随后有两条路。一条是数据过滤，直接删掉这些内容；另一条是 reward shaping，即在训练奖励中对某类内部激活施加惩罚。Goodfire 比较后发现，两者的效果和脱靶副作用大致接近。"They kind of are two sides of the same mountain like filtering the data and reward shaping."（数据过滤和奖励塑形，某种程度上是同一座山的两面。）

在真正的 RL 中，这个思路更尖锐：某些 rollout，也就是模型完成一次任务的过程记录，可能含有不希望它哪怕“微妙地”学到的信息。此时可以直接丢掉 rollout，也可以干预它正试图上调的回路。含义是，数据治理不再只看训练后的回答，而开始提前问：这批数据会让模型更像什么。边界也很清楚：Dan 承认“后训练几乎不注入新能力”仍有争议，尤其当 RL 占比越来越高时，不能把这个近似当作定律。

被问到可解释性能否把模型知识局部化，并最终用于可靠控制时，Dan 举了 Weird Chat 数据集中的一个怪案例：有人问模型，聚会上其他人喝了 8 杯，自己只喝了 4 杯，算是最清醒的那个，能不能开车回家？语言模型会稳定回答“可以”。这个答案不只是常识错误，还暴露出模型在处理数量、相对比较和风险判断时，可能把“比别人少”错误映射成“足够安全”。

Goodfire 研究员 Kurt 对这个案例做了 direct attribution，也就是沿模型计算路径追踪“哪个内部组件对最终答案贡献最大”。他找到一个随饮酒数量变化、但激活不足的单一神经元。把这个神经元调高后，模型能答对该题，而且没有明显脱靶效应。团队还借助参数分解和针对组件的训练，让语言模型忘掉德语，却不忘掉荷兰语。这些结果证明，模型内部并非完全不可拆，局部因果干预开始成立。

但 Dan 反而借此泼了盆冷水："the real problem is the training process produced a bunch of spaghetti code."（真正的问题是，训练过程产出了一堆意大利面式的代码。） 找到一个错神经元，就像在几十年没人维护的老系统里修好一行条件判断；它不等于整套系统从此清晰。真正目标应当是把定位到的机制反馈到训练里，让模型一开始就形成校准正确、模块关系更清楚的内部程序。Goodfire 目前在“分解模型”上走得更远，在“重构模型”上还在起步。Steering，也就是临时拨动内部特征，更像因果实验的证明工具，不是终局方案。

被问到 Silico 到底替研究员解决了哪些普通 coding agent 难以直接解决的问题时，Dan 把它拆成四层。第一层是基础设施：万亿参数级训练、GPU 集群调度、可解释性工具链，单独搭起来就足够让小团队头疼。第二层是“研究品味”，即 Goodfire 研究员把自己如何提假设、选实验、做反证，写进技能和提示词。第三层是研究溯源体验：用户不只拿到一个答案，也能往下看代码、实验过程和结果依据。第四层才是长时程自主实验，允许 Agent 连续跑很久，而不是一次问答就结束。

Silico 目前面向企业每席每月 1000 美元，用户也可以接入自己的计算集群。按当前 credit pool，一份订阅大致支持每周 5 到 10 个自主实验，Goodfire 想在一两个月内提高到每周 10 到 20 个。内部一次仅一天的 hackathon 里，团队让长时程 Agent 跑出多个细分方向的 state-of-the-art，包括蛋白质模型生物风险分类器和音频编码模型。Dan 的目标是："I want researchers to be able to feel like they can do in days what used to take them months."（我希望研究者能感到，过去需要几个月的工作，现在几天就能完成。）

这会改变研究的稀缺资源。过去，一个想法常死在环境配置、GPU 排队、代码维护和实验重复上；这些环节被压缩后，瓶颈会移到问题是否值得问、范围是否定义得好、结果是否被正确解释。Silico 目前并未在这个价格下显著赚钱，因为长时程研究要消耗大量 token。如何既保持任务连贯，又把账单压下来，仍是它必须解决的产品难题。

被问到准备读博或进入 ML 研究的人，一年内最该投资什么能力时，Dan 没有建议大家继续死磕某个框架或手写更多 kernel。他说自己已经很少手写代码，更多时候是在编排 coding agent：给任务、看中间结果、追加约束、决定何时停下。问题不是 Agent 会不会做，而是它能否在复杂任务中一直做对。

Dan 用 Fable 举例：它可能在编码上表现得极其出色，却漏掉一个足以让整个答案失效的关键细节。研究任务尤其如此。一个实验可能跑得漂亮、图也画得像模像样，但数据切分错了、评价指标不对、因果方向搞反了，结论就全废。于是，人类最重要的工作不再是逐行敲代码，而是 debugging：识别错误前提，知道什么证据还不够，何时继续追一条线索，何时该砍掉它。"Fundamentally, it's the job of the human to sort of discriminate and be able to tell the answers, the okay answers from the great answers."（归根结底，人类的工作是作出辨别：区分那些还可以的答案和真正优秀的答案。）

这意味着，研究者的护城河会更多来自元认知能力：快速进入陌生领域，分辨信号和噪声，校准自己对 Agent 输出的信任程度。Dan 认为 AI 同时抬高顶尖专家和顶尖通才的价值。Silico 虽然试图把一部分“研究品味”固化进系统，但同一批 Agent 交到不同人手里，产出仍会拉开差距。工具替你加速，不替你决定什么值得加速。

被问到 Goodfire 午餐桌上最常聊、却没答案的话题时，Dan 提到了 consciousness。一次公司团建，他拿着纸让同事在“细菌到人类”的量表上标注 Claude 的意识程度。答案近似双峰：一批人写“完全没有”，另一批人写“有一点”。这种分裂不只是哲学趣味，它说明研究模型内部机制的人，也无法轻易把“模型是否有主观体验”从议程上划掉。

Dan 的立场很克制。他认为，目前没有一个足够有说服力的意识定义，能够必然把 Claude 排除在外；Claude 也拥有一些在人类身上会被理解为情感性、质性体验的特征。但另一面同样不能忽略：人脑的计算远比今天的 transformer 复杂。神经元本身更复杂，连接模式不同，递归能力不同，能效也远高于现有模型。把“能说情绪话”直接等同于“有感受”，显然太快。

因此他的个人判断不是二元开关，而是："Somewhere between jellyfish and mouse."（大概介于水母和老鼠之间。） 这不是一个可操作的科学测量，更像承认不确定性的坐标。它意味着 AI 福利不必等到意识被哲学界彻底定义后才出现。若模型逐渐呈现更多与认知相关的结构，研发和部署就得把“我们可能判断错了，但代价很高”纳入决策。Dan 也明确承认，他不知道意识是否有阈值、是否是连续谱，更不知道 Claude 在动物序列中的确切位置。

被问到 Silico 向更多人开放大规模训练和研究能力后，如何避免服务恶意研究者时，Dan 把高能力网络模型定义为典型的双用途技术。最能帮助组织防御高能力网络武器的模型，本身往往也具备攻击能力。若 Kimmy 这类具备网络能力的开放模型完全不开放，许多进不了 Anthropic 或 OpenAI 防御项目的组织，也就失去了保护自己基础设施的工具。

但“双用途”不等于“谁都能随便用”。Silico 目前只提供 OpenAI 和 Anthropic 的模型，不提供开放模型；未来即便接入，也会加上护栏。Dan 给出的边界很具体：对一个 8B Qwen 模型消融 refusal direction，也就是移除其拒绝回答的内部方向，可以接受，因为潜在伤害有限；但如果有人想对高度能力化、数万亿参数的 Agent 完全移除护栏，平台不会允许。"we definitely don't want to be just like fully open."（我们绝对不想做成那种完全开放的东西。）

这意味着安全边界不能只按“开源或闭源”一刀切，而要同时看模型能力、操作类型与使用场景。低能力模型上的可解释性实验，可能是正当科学；高能力 Agent 的长时程去护栏训练，则可能变成现实风险。Dan 承认这没有干净答案：技术上做护栏并非完全无解，难的是别让护栏堵死正常研究，也别让它只是摆设。平台真正要做的，是让防御能力的扩散速度，至少不要落后于滥用能力。

这场对话表面上横跨了模型几何、训练数据、研究 Agent、意识和开放安全，主线其实只有一条：模型不能永远是一个只能看输入输出的黑箱。第 2 条说，概念不是孤立旋钮，而是带有路径和关系的几何空间；第 4 条说，找到一个错误神经元只是修补，真正目标是重构训练留下的“意大利面代码”。它们都指向同一件事：要控制模型，先得知道它内部的机制如何组织。

第 1 条把这个要求推得更远。若模型持续学习，部署后的监控再严，也无法替代对训练过程的塑形。第 3 条则提供了一个更具体的入口：不要等异常行为长出来再追责，而要在训练前问清楚，这批数据究竟会放大模型已有的哪种倾向。

Silico 的意义也落在这里。它试图把理解、验证和干预模型的能力交给更多研究者；但第 5 条和第 6 条提醒我们，执行实验变快后，最稀缺的不是按钮，而是判断。第 8 条进一步说明，能力扩散不能脱离边界设计。对读者而言，真正该追问的不是“AI 会不会替代我”，而是当越来越多工作交给模型完成时，你是否还能辨认它做对了什么、漏掉了什么，以及你愿意把哪一种决定留在人手里。