How Agents Decide: Goodfire's Eric Bigelow on Critical Tokens, Phase Shifts, & In-Context Learning

Goodfire 研究员 Eric Bigalow 发现，大模型在推理链的某个 token 处"临时决定"最终答案，连一个左括号都能让答案彻底改变。

我们正把 AI 监控的希望押在"读它的思维链"上，但读过最多思维链的 Apollo 研究员承认：即使看完全部推理过程，也说不清模型为什么选了那个答案。更麻烦的是，Eric 的实验显示，决定往往发生在一个看似无关的 token 上——比如一个左括号。这篇解读会讲清楚：决策到底发生在哪一步、为什么思维链越来越不可靠、以及可解释性研究现在能做什么。

Eric 两年前做过一个叫"分叉路径"的实验：给模型一道题，让它一步步推理，然后在推理链的每一个 token 位置重新采样 30 次，看最终答案会变成什么。

• 每个 token 都是一次掷硬币：模型生成下一个词时，是从一个概率分布里抽签，抽到哪个词，后面的推理就顺着这个词往下走。Eric 说，所谓"决定"，很大程度上就发生在这一次次采样里。
• 关键转折点常常出现在意想不到的地方：论文里有个例子，模型写到"千瓦时（kWh）"时，如果那个左括号被采样成别的词，最终答案就会不一样。不是"所以答案是 B"这种明显的地方，而是一个括号。
• 推理模型改变了这个图景：现在的推理模型（如 DeepSeek R1）会在思维链里把各种可能性都列一遍，最后回头挑一个。Eric 说这更像"一锅 token 汤"，而不是人类那种 A 推出 B 的逐步推理。

Eric 和 Nathan 都注意到，模型的思维链里出现了奇怪的语言和方言，Astro（应为 Astra）甚至用某种内部语言和子 agent 沟通。

• RL 训练让输出多样性大幅下降：Eric 用 Qwen 3.6 35B A3B 做实验，让它写故事，三分之二的故事都关于钟表匠。而 GPT-3 时代那种"狂野"的多样性，在监督微调和 RLHF 之后基本消失了。
• "等等"出现 50 次：DeepSeek R1 的思维链里，"wait"可以出现 50 次以上。Eric 认为这是模型在绕过"无法回溯"的问题——既然采样错了词就回不了头，那就把所有可能性都列出来，最后再选。
• 思维链监控的根基在松动：Nathan 指出，前沿公司把大量监控希望押在"读思维链"上，但如果连读过最多思维链的人都说不清决策逻辑，这条路就需要可解释性来兜底。

Eric 现在在 Goodfire 做机械可解释性，他分享了一些研究现状的判断。

• 70-80 亿参数是当前可解释性的最佳区间：太小了没什么可解释的，太大了算力吃不消。这个规模刚好能看清内部结构。
• Kimi K3 是研究前沿编码和奖励黑客的台阶式突破：Eric 说 K3 让研究前沿水平的编码行为和 reward hacking 变得可行，之前没有这么好的开源素材。
• 可解释性研究目前依赖中国开源权重模型：Eric 直言，前沿公司之外的可解释性研究，现在确实离不开中国的开源权重模型。没有它们，学术界根本够不到前沿。

"我认为'推理'这个词对推理模型来说几乎是个误称——它们做的更像是一锅 token 汤，最后回头挑一个。"

• 别把思维链当审计日志用：如果你的 agent 系统靠"读思维链"来判断它有没有做错事，现在就该加一层可解释性探针（比如 Goodfire 的 Silico 研究 agent），因为思维链和实际决策之间的对应关系正在变弱。
• 关注采样层，不只是模型层：Eric 的发现意味着，同一个 prompt 跑两次得到不同结果，可能不是"模型不稳定"，而是某个关键 token 的采样分叉了。做 agent 评测时，固定随机种子或多次采样取分布，比单次跑分更有信息量。