Rich Sutton and Khurram Javed: Why AI Models Stop Learning, and How to Start It Again

LLM 越会说，越暴露它不会学习

Rich Sutton 是强化学习的奠基者之一，长期在阿尔伯塔大学推动深度强化学习，也是经典教材作者和《The Bitter Lesson》作者。2003 年，他在一次癌症缓解后加入阿尔伯塔大学；彼时正值 AI 寒冬，他仍选择把研究押在“学习”和“目标”这两个他认为构成心智核心的东西上。Khurram Javed 是他在阿尔伯塔大学的前学生、Big World Hypothesis 论文作者，如今与 Sutton 共同创办 Oak Lab。

这场对话里，两人没有否定 LLM 的语言突破。他们泼的冷水是：会说话、会调用工具、能装下整套互联网知识，仍不等于它是一个会成长的心智。Oak Lab 想解决的，是模型离开训练场后如何继续学习、如何不忘旧知识、又如何自己发明用于规划的新抽象。

这期回答了 7 个问题：

1. 为什么一个能流畅对话的 LLM，仍可能根本不算在学习？
2. 合成数据无限生成后，为什么仍逃不掉人类专家这个瓶颈？
3. 让模型边用边学，为什么会毁掉它原有的知识？
4. 每个参数拥有不同学习速度，如何缓解灾难性遗忘？
5. 为什么真正的范式创新，反而不适合由大公司迅速堆人推进？
6. AI 为什么不仅要学世界模型，还必须自己长出用于规划的抽象？
7. 通用智能为什么不该是一台无所不知的模型，而应是许多持续成长的心智？

被问到主流 LLM 助手算不算经验学习者，以及问题是否在于预训练和后训练做得过多时，Sutton 把分歧压缩到模型上线后的一个动作：权重有没有继续变化。权重就是神经网络里储存规律的参数；训练，本质上是反复改这些参数。主流助手可以和用户聊很久，也能记住当前对话里的信息，但这通常只是把新内容塞进 context，也就是本轮任务可读取的上下文状态，再据此预测下一个 token，token 可以简单理解为模型处理文本时切开的词或字符片段。

Sutton 的说法很直接："The only point that the big disagreement is we don't let them learn after that."（真正的分歧只有一点：我们不让它们在那之后继续学习。） Javed 随后补了一刀：给更多 context 的确能改变模型当前 state，让它在这次回答中表现不同；但只要权重不改，模型就没有把这段经历沉淀为以后可复用的能力。

这意味着，预训练和后训练不是原罪。两人并不主张把已有知识清空、让每个模型从零开始。真正的问题是，我们把训练完成误当成学习完成。未来的竞争点会从“谁在发布前压进更多知识”，转向“谁能让每个部署中的模型安全地根据自己的经历改写知识”。Javed 提到，某些代码补全产品确实会收集大量用户数据，再对共享模型做一次更新；但如果你只想教自己的版本一项特殊习惯，就不该和成千上万人的偏好挤在同一轮更新里。个体经验不能只做临时提示，它需要有进入模型长期记忆的通道。

被追问互联网语料有限之后，合成数据是否能继续拉长 LLM 的 scaling 曲线时，Javed 没有说合成数据完全无用，而是先问了一个容易被忽略的问题：谁决定该生成什么数据？如果目标是训练一台像蝙蝠那样依靠回声定位飞行和定位的无人机，人类得先搞懂这种任务需要什么场景、什么信号、什么干扰，再把它们编进数据生成器。假如 OpenAI、Anthropic 等实验室的工程师全去度假，模型自己会知道下一批合成数据该长什么样吗？

自动驾驶仿真正好说明这个账单。仿真器可以很有效，但背后有大量工程师先造环境；系统到了真实道路上，暴露出 sim-to-real gap，也就是“模拟里有效、现实里失效”的落差，人类再回头补交通参与者、天气、传感器误差或边缘场景。Sutton 的判断是："It'll be a synthetic world. It won't be the real world."（那会是一个合成世界，不会是真实世界。） 一个生成合成数据的程序本身也只是一个小程序，它能构造的是一个小世界，不是摩擦、马达磨损、他人意图和偶发事件同时存在的真实世界。

这意味着，合成数据的上限不只是产量，而是人类预先知道什么值得模拟。Big World Hypothesis 的意思很朴素：世界比任何单个智能体都复杂得多，可学的事近乎无穷。仿真当然可以作为练习场，但更理想的路线是让智能体根据行动反馈自己学出模型；模型错了，它在真实经历里发现误差，再持续修正。否则，系统每一次遇到新漏洞，都要等人类先看见漏洞、再把补丁写回模拟器。

被问到 continual deep learning，也就是“深度模型持续从连续经验流中学习”，缺的是部署机制还是算法时，Javed 的答案是后者。今天当然可以拿到一条新用户数据就更新模型，但如果拿单一样本去改整个网络，刚学到的新内容往往会冲掉旧内容。这叫 catastrophic forgetting，中文常译为灾难性遗忘：模型并非记不住新东西，而是为了记住新东西，把原来会的也砸坏了。

Sutton 给出的第一层补救是 step size optimization，即为每个权重单独决定每次该改多大，而不是让全网使用同一学习速度。"Every weight in your network has to have a separate step size."（你网络里的每一个权重，都必须拥有独立的步长。） 他认为，大多数权重应有极小步长，像图书馆里不轻易挪动的书架，负责保存长期知识；只有恰当的位置用较大步长，去吸收眼前的新经验。这些步长还要靠元学习决定。元学习不是让模型只学任务，而是连“未来该怎样学”也一起学。

第二层是 continual backprop。两人曾将这一算法发表在 Nature：普通反向传播的随机初始化发生在训练起点，之后网络里的随机多样性逐渐被耗尽；continual backprop 则在训练过程中不断加入随机初始化的新 unit，也就是新单元，再由反向传播检验哪些单元有用。这意味着持续学习不是给旧模型更频繁地刷补丁，而是让它具备新陈代谢：稳定部分慢慢变，局部快速适应，还能长出新结构。边界也很明确：这套能力不能简单贴到一个已训练完成的模型上，它得从头训练，在学习知识的同时学会未来如何避免遗忘。

被问到 Oak 为什么不迅速扩张、而大型模型实验室为何没有切换到新算法路径时，Javed 给出的不是“人不够多”，而是“短期指标不允许”。探索新算法，第一天通常拿不到 state-of-the-art，也就是当下最强表现。更常见的曲线是先变差：旧系统能稳定产出分数，新系统先暴露出未解决的技术问题，性能掉下去，之后才可能沿另一条路径变好。

这正是大实验室的组织约束。它们已有用户、产品和既定扩展路线，继续增加数据和算力，通常还能换来可预测的提升；要转向一条短期更差的路线，意味着要承受产品表现下滑，并赌一个尚未完全验证的长期假设。Javed 说 Oak 的初始成员主要是长期思考过这些问题的人，团队会先小规模起步，再逐步扩展到几十人，而不是抢先堆出庞大编制。"It doesn't make sense to become large very quickly because in some sense, everyone we hire has to come to see what we see. And not everyone sees that."（太快做大没有意义，因为某种程度上，每个加入的人都得先看见我们看见的东西；而不是每个人都看得见。）

这意味着，基础算法创新的组织优势未必是人头、GPU 或预算的简单相加，而是团队是否共享同一个问题定义：现有模型的冻结、遗忘和抽象能力缺口，究竟是不是必须绕开的瓶颈。Oak 所说的 super aligned，不只是价值观一致，而是成员愿意连续几年在短期落后中排查同一组难题。这种选择的代价也实在：大公司不是看不见风险，而是它们要对现有产品负责，因而很难轻易承担“先退一步”的代价。

被追问机器怎样像人类那样想象尚未发生的事、完成范式转换时，Javed 先区分了两件常被混在一起的能力：在已知规则里规划，和自己找出该用什么规则、什么变量来理解世界。AlphaGo 能规划，是因为围棋的落子规则和局面转移已经给定；数学推理系统也能在形式规则中搜索，因为算子、证明状态以及从一个状态到下一个状态的方式已知。它们很强，但它们不需要先发现“世界该怎样被描述”。

人的高层思考不是这样。Javed 举顶尖运动员为例：他们会为某个极具体动作形成小众术语，用来捕捉外行甚至普通选手不会注意的结构；有些抽象连名字都没有，却已经能指导动作。当前系统可以学习下一秒、下一毫秒发生什么，但这不等于它自己发现了什么变量值得预测，更不等于它有了能拿来推演长期后果的高层模型。Javed 的判断相当克制："There's no instances of learning the model and then planning with the model in our field."（在我们这个领域里，还没有先学到模型、再拿模型做规划的实例。）

这意味着，下一代能力评测不能只问模型能否在给定规则内解题，也要问它能否从自己的经历中长出抽象：它决定观察什么、压缩什么、预测什么，再用这些抽象指导行动。Sutton 的 Alberta Plan 把持续深度学习放在前半段，把抽象问题放在后半段，逻辑就在这里：模型若不能持续更新，就无法根据所处环境调整抽象；但即使能更新，也不自动等于会形成高层概念。两人承认，这仍是他们未完成的核心缺口，而不是已经展示过的通用答案。

被问到 Oak 若成功，会不会造出一个从荡秋千到造火箭全都会的单一心智时，Sutton 先纠正了问题里的前提。他要的不是一组包打天下的万能权重，而是一个 single design，一种可以复制的学习设计；在这个设计之下，可以生长出很多不同的 minds。Javed 进一步解释，两个采用同一设计的系统，只要经历不同，就会学到不同知识。

"And different versions of that mind would learn different things because they have different experience."（同一种心智的不同版本，会因为拥有不同经验而学到不同的东西。） 这不是把能力拆散后的无奈，而是 Big World Hypothesis 推出的必然结果。世界中可学的事情太多，单一系统不可能学完一切。Javed 还给出一个更强的论证：假设世界上有两个同样复杂的系统，那么它们彼此都无法完整建模对方，因为被建模对象本身与建模者一样复杂。

这意味着，通用性不一定装在一个集中式、全知全能的模型里，更可能装在一种可复制的成长机制里：相同的学习原则，不同的经验轨迹，不同的专长和局部世界模型。未来也许不是重训一个巨型模型，再把它发给所有人；而是复制已有智能体，让每个副本在自己的环境中继续成长。这个愿景明确放弃了“一个系统掌握全部知识”的幻想。多个智能体之间的差异并非缺陷，反而是在大于任何心智的世界里，知识必然分布的方式。

“权重一冻结，LLM 再会对话也没有在学习”说的是时间维度：模型不能把部署后的经历永久写进自身。“真正缺的不是更大模型，而是自己长出抽象并拿它规划”说的是认知维度：模型不能只预测眼前几步，还得自己决定怎样组织世界、怎样从组织后的模型推演行动。两者看似是不同工程问题，实则都指向同一件事：智能不该是一次性把知识装满，然后在现实中静态调用；它必须在现实不断露出新细节时更新自己，又不能更新到把自己原有的结构冲散。

这也解释了为什么 Sutton 和 Javed 同时批评“冻结权重”、对合成数据保持警惕、又把灾难性遗忘当成算法问题。合成数据可以扩充练习题，但若题目由人不断指定，系统仍没有脱离人类专家的视野；直接在线更新看起来像是在学习，但若每条新经验都毁掉旧能力，模型也无法在复杂世界里长期存在。持续学习、不同速度的权重更新、不断长出的新单元，以及从经验中发现抽象，构成的是同一条链。

放到读者自己的处境里，判断一个 AI 产品时，问题不该只剩“它这次回答得像不像人”。还可以追问：它能否从我的长期使用中真正变得更懂我的任务？这种变化是只留在一段 context 里，还是能安全进入模型的长期知识？它遇到现实中未被题库覆盖的情况时，是只能等待人类补一个模拟场景，还是能发现误差、调整模型并继续学习？Oak 押注的不是再做一台更会说话的机器，而是让机器第一次拥有不把训练结束当作人生结束的能力。