Why Teaching AI Something New Can Make It Worse

大模型每次微调都会遗忘旧知识，无法像“蜂巢大脑”一样持续叠加新经验，最终还得定期重训新底座。

很多人以为 AI 能像“蜂巢大脑”一样，所有部署实例的经验都能实时汇总进大模型，越用越聪明。但实际操作中，每次小步微调都会让模型遗忘旧知识，无法无限叠加新经验。经济激励也让公司不愿意贡献全部数据。下面梳理了大模型持续学习的真实技术瓶颈和主流应对方案。

大家都想让 AI 像群体大脑一样，部署一次学一次，但现实中技术和经济都卡住了这条路。

• 经济激励：公司不愿意把自家部署数据贡献给模型提供商，因为这会削弱自己的竞争力。
• 模块化方案：现在更常见的做法是用 LoRA（低秩适应）或“知识弹夹”这类小模块，把新知识装进插件，而不是直接改底座模型。
• 间接学习：大模型厂商会收集这些模块或使用痕迹，等下代模型训练时再统一“蒸馏”进新模型，而不是实时同步。

想让模型靠不断小步微调变得越来越聪明，现实中会遇到“灾难性遗忘”，旧知识会被新知识覆盖。

• 微调遗忘：只用新数据反复微调，模型会忘掉早期学到的东西，泛用能力下降。
• RL 和 SFT 各有限制：强化学习（RL）改动小但难注入新知识，有监督微调（SFT）改动大但容易破坏原有能力。
• 主流做法：现在大家都是定期收集新数据，重新训练一个新底座模型，而不是让同一个模型无限叠加新知识。

只要数据分布一直变，持续微调就会让模型“忘本”，目前还没有好办法彻底解决。

• 训练瓶颈：持续微调无法保证模型长期保留所有知识，灾难性遗忘始终存在。
• 行业共识：这也是为什么主流厂商最终都选择定期重训新模型，而不是让老模型一直“打补丁”。

“如果你一直在同一个底座模型上持续微调，最终它会渐渐学不进新东西，这就是为什么大家还是要定期重训新模型。”

• 想让 AI 长期记住新知识，别指望只靠持续微调，定期重训底座模型更靠谱。
• 企业级 AI 部署优先用模块化插件（如 LoRA、知识弹夹）本地适配，别直接改动底座模型。