Why Deep Networks Don’t Need to Memorize Everything — Matthieu Wyart

Matthew Wyatt 发现：深度神经网络只需多项式级别的数据，就能学会创造性地生成新句子，反驳了 Chomsky 的“刺激贫乏”论。

为什么人脑能用极少的数据学会语言，而大模型却要“喂”海量文本？Chomsky 认为，机器无法像人一样从有限例子中学会创造性，但 Matthew Wyatt 用物理学视角和数学模型，发现深度网络其实能自动提取抽象结构，远比想象中高效。你会看到机器如何“自发”学会抽象、创造力的真正难点，以及深度学习和物理学的奇妙类比。

Chomsky 认为，孩子能学语言是因为有天生结构，机器靠例子学不到创造力，但深度网络的实验结果正相反。

• Chomsky 的观点：他提出“刺激贫乏”论，认为仅靠有限的语言输入，机器无法学会创造性生成新句子。
• Wyatt 的实验：用基于树结构的生成模型，发现浅层网络只能死记硬背，深度网络却能自动学会抽象规则，生成从未见过的新句子。
• 数据需求远低于想象：理论上，句子长度为 D 时，所有可能句子数量是指数级，但深度网络只需多项式级别（远少于全部可能）的例子，就能学会创造性生成。

Wyatt 用物理学的“粗粒化”思想解释神经网络如何自动形成多层抽象，就像物理学家用压力、速度等高层变量描述复杂系统。

• 多层抽象的类比：物理系统可用原子层面和宏观变量两种方式描述，神经网络也能从像素/单词等低层，逐步学会“街道”“句法结构”等高层概念。
• 自动分组机制：类似 word2vec 的做法，网络会把“上下文相似”的元素归为一类，形成更高层的抽象变量。
• 抽象越高越难学：随着抽象层级上升，信号变得稀疏和噪声大，导致高层抽象（如“意图”）比低层特征（如“颜色”）更难被机器捕捉。

深度网络能学会抽象和一定程度的创造力，但与人类科学家相比，机器还缺乏主动建模和与世界互动的能力。

• 创造力不只是拼接：机器可以把已有元素组合出新东西，但科学发现往往需要主动观察、简化和建模，这超出当前机器的能力。
• 数据驱动的局限：仅靠看遍所有数据，机器难以像人一样发现全新“子空间”或提出根本性新理论。
• 未来方向：Wyatt 认为，真正强的机器创造力需要让 AI 学会像科学家一样主动实验、归纳和构建新模型，而不仅仅是扩大数据和模型规模。

“深度网络之所以能创造，是因为它们自动学会了世界的分层结构，而不是简单地记忆例子。”

• 设计 AI 系统时，优先让模型在多层抽象空间中学习和预测，而不是只在低层 token 级别做预测，这样能大幅提升样本效率和创造力。
• 想让 AI 真正具备科学家式的创造力，不能只靠堆数据和参数，更要让模型有机会主动与环境互动、归纳和建模。