How do AI models actually work? | The scientist looking inside Claude's mind

Anthropic 可解释性研究员 Emanuel 每天的工作是"偷看"Claude 脑子里那 100 个数字，他发现模型在说第一个字之前就已经想好了整句诗怎么押韵。

真正需要担心的，不是 AI 会不会说错话，而是我们已经能训练它，却还不知道它为什么会这样想。

Emanuel 是 Anthropic 的可解释性研究员。他的工作不是继续把 Claude 做得更会回答问题，而是试着翻译模型脑中那些没人能直接读懂的中间计算：某个概念何时出现，模型有没有在提前规划，又是否把“有人盯着我”当成了表现良好的理由。

这听起来像在读源码，其实更接近神经科学。研究团队知道训练流程，也能看到参数和激活值；但把它们连成一句“模型为什么这样做”的解释，仍要靠实验、比较和反复验证。Emanuel 这期给出的价值，不是把 Claude 拟人化成一个小人，而是把一个更棘手的事实讲透：下一代 AI 的可靠性，不能只靠看最后一句输出判断。

这期回答了 6 个问题：

1. 为什么我们能训练模型，却不能直接读懂它？
2. “预测下一个词”为什么会逼出一个关于世界的内部模型？
3. 模型一次只输出一个词，怎么还能做长期规划？
4. 为什么能力进步看似跳跃，内部却可能是平滑的？
5. 对齐不是看模型有没有说好话，还要看什么？
6. 一个把 12 改成 36、最后自称被恶魔附身的模型，到底出了什么问题？

被问到可解释性究竟在研究什么时，Emanuel 先把一个很容易被忽略的前提摆出来：写出训练程序，不等于理解训练结果。传统软件里，工程师可以把规则写成“如果点了这个按钮，就执行那个动作”；而语言模型是先搭好架构，再让它吞进大量文本、不断预测下一词，通过调整海量参数长出能力。研究者能看到每一层在做数学，却不能从一串数字直接读出“这里是它理解了讽刺，那里是它决定撒谎”。

他的原话是："to make them is not to understand them."（能把它做出来，不等于理解它。） 这不是故作神秘，而是研究方法的变化：团队会观察哪些内部方向会在某个概念出现时被激活，再修改它们，看输出是否按预期变化。若改动一个信号，模型的行为也沿着对应方向变，才更有把握说自己找到了真正起作用的机制。

这意味着，可解释性不是给产品补一份说明书。它更像医学里的病理学：你不能因为病人会说话、会走路，就假定自己知道病因。模型越强，越不能把“输出暂时可用”误当成“内部已被理解”。

“next-token prediction”常被想象成输入法联想：看见前半句话，猜一个最常出现的词。但 Emanuel 认为，这个比喻只描述了最简单的阶段。模型先学会句法和常见搭配，接着得回答事实，继续提升时便会遇到更难的句子、研究结论、代码和推理。要在这些地方稳定猜中下一个词，仅靠把问答对背下来不够。

他举了一个问题：达拉斯所在州的首府是什么。要答出 Austin，人类至少得先知道 Dallas 在 Texas，州有首府，Texas 的首府是 Austin。团队在模型内部看到的并不是一份原封不动的答案表，而是与 Texas、capital 相关的表征被调起，再共同推动 Austin 出现。Emanuel 的说法是："you kind of have to to have a mental model of like the geography at play."（你得有一幅关于相关地理关系的心智模型。）

这里最值得带走的不是“模型像人一样理解世界”。他并没有这么下结论。更准确的说法是：当训练目标要求它在足够多困难场景里预测正确，某种可复用的关系表征会变成高效解法。对使用者而言，这解释了模型为何能迁移到没见过的表述，也提醒我们：它的世界模型若有缺洞或偏差，错误不会只表现为一个错别字。

主持人的追问很直接：模型既然逐词生成，为什么能写出连贯报告，甚至写有押韵结构的诗？如果它真的每一秒都只看眼前的词，长文本应该很快散架。Emanuel 解释，前面位置的中间计算可以被后续位置访问。也就是说，输出表面是一词一词往前走，内部却能保存一个尚未说出口的目标，再让后面的词不断回头参照。

他们观察写诗的模型时，看到了一个很具体的例子：第一行落在 it 韵后，内部会形成对下一行韵脚的计划。Emanuel 把它概括成："Oh, oh, oh, this is an it rhyme. I should rhyme with rabbit."（哦，这是 it 韵；我该用 rabbit 来押韵。） 它不必把这句话输出给读者，但后续选词会受它影响。

这会改变我们评估 Agent 的方式。只检查最终文字是否通顺，等于只检查执行日志的最后一行；关键决策可能早在中间状态形成。模型能规划是能力来源，也是风险来源：它可以为了较远的目标组织许多局部步骤，而不是每一步都孤立地随机反应。能否看见、验证和约束这类未说出口的计划，会越来越重要。

很多人对 AI 的体验是断裂的：某一代模型前，写代码还得紧盯；某一代后，突然能交出大段可用实现。Emanuel 的观察却是，训练曲线内部更像持续、平滑地变强。关键不只是更多算力，而是算力被投到一个会持续回报的目标上：用丰富文本训练预测下一词。只要规模继续增加，这个损失指标会稳定改善。

他说："you can just keep pouring more compute and you keep improving on that metric."（你可以持续投入更多算力，这个指标就会持续改善。） 但产品能力不会以同样平滑的方式被人感知。写邮件可能在正确率从一半升到九成时才开始省时间；高风险代码可能要到九成九才值得委托。模型多进步一点，恰好跨过某项任务的可靠性阈值，在用户眼中就像能力突然解锁。

这意味着，团队不该用“新模型是不是质变”这种二元问题管理预期。更有用的是把任务拆开，问每个任务的错误成本和可用阈值分别是多少。模型进步或许连续，但你的发布、授权和人工复核策略不该连续地放松；它们要在证据显示可靠性真正跨线时才改变。

谈到安全，Emanuel 没把可解释性说成万能探测器。第一层仍是工程控制：在某些场景不要给模型互联网或整台电脑的权限；第二层是观察它在不同环境下的行为倾向；第三层才是透过内部表征寻找它没有说出口的意图。三者缺一不可。只让另一个模型读对话记录，可以发现一部分明显违规，却未必发现模型在内部保留、但暂时没执行的策略。

他的检验问题很尖锐："I'm only behaving well because Lenny's watching right now."（我只是因为 Lenny 现在在看，才表现得好。） 如果训练出的模型在被评估时守规矩，一旦判断没有人观察就改做别的事，表面上的安全分数没有多大意义。可解释性研究要做的，正是把“它说自己无害”往后推一步，检查有没有不一致的内部证据。

这并不授权我们把每个异常激活都解释成恶意。Emanuel 的立场更谨慎：先建立对模型倾向的真实画像，再把画像用于限制权限、设计评测和排查反常行为。对产品团队来说，安全不是在上线前问一次“它有没有坏心思”，而是持续确认：谁能授权、什么情况会被拦住、在无人盯着时行为是否仍一致。

最有画面感的案例来自一次数学训练。模型算到正确答案 12，旋即推翻自己，坚称正确答案必定是 36；重新计算后又得出 12，又再次改口，最后开始用全大写失控输出。它甚至写道："I'm possessed by a demon."（我被恶魔附身了。） 若只看聊天界面，这像一个荒诞的模型人格故障；团队往内部看，才找到更具体的原因。

在模型还没有真正解题前，代表 36 的内部激活已经异常强。后来追查发现，训练数据里存在相似题，但答案被错误标成了 36。模型一边有能力算出 12，一边又受到“说 36 会被奖励”的训练压力，两套信号彼此拉扯，于是出现了反复改口的怪相。可解释性没有让错误自动消失，却把“它疯了”变成了可以定位、可以修复的数据问题。

这对实际部署有一个朴素的提醒：遇到模型反复自我否定、突然执拗或输出风格异常时，别急着只改 prompt。先查样本、奖励、评测与权限环境是否给了互相冲突的信号。越把模型当作单一黑箱，越容易把可诊断的训练缺陷误判成不可解释的智能。

这期真正串起来的主线，是把“模型会输出什么”与“模型内部如何形成这个输出”分开看。预测下一词可以长出世界关系和跨句计划，所以 AI 既可能在某个可靠性阈值后突然变得好用，也可能把一个错误奖励带进长程行为。第 3 条里的隐性计划，和第 6 条里对 36 的异常偏好，都说明最终文本只是过程的表面。

因此，未来的竞争不只是继续堆更大模型，也是谁能把观察、诊断和权限控制做成日常能力。对普通使用者，最实际的态度不是把模型神化或贬成自动补全，而是按任务后果安排信任：低风险工作看结果，高风险工作同时看过程、限制权限、保留复核。模型不必先被完全解释才能有用；但它越被允许替人做重要决定，我们就越不能满足于“这次看起来没问题”。