Beyond Auto Research: Building Recursive Self-Improving AI — Richard Socher, Recursive

Richard Socher 新公司 Recursive 要造"尤里卡机器"，让 AI 自己发明 AI，他判断一两年内就会发生，而欧洲已经先把自己管死了。

AI再强，也不会让一万美元手袋更奢侈

Richard Socher 是 Recursive 的联合创始人，自称做 AI 已超过二十年。他做过早期词向量研究，参与过提示工程、蛋白质生成等方向，也创办过 you.com。如今他要做的不是又一个“更会聊天”的模型，而是一台能提出研究想法、写出实现、验证结果，再反过来改进 AI 研发流程的机器。这个目标很大，但他的判断里有一种不太讨喜的克制：AI 会极大改变研发，却不会自动把每个行业都推入千倍增长。

这期回答了 7 个问题：

1. 为什么超级智能未必会带来“千倍经济爆发”？
2. 监管 AI 到底该盯住模型算力，还是具体应用？
3. AI 怎样从“会写代码”跨到“能改进 AI 研发本身”？
4. 为什么自动研究最危险的失败，不是能力不够而是奖励设错？
5. AI 已经能在两天内超过人类优化榜单了吗？
6. 专家同行评审为何可能扼杀下一代范式？
7. 当 AI 严格执行你的命令，却做出荒谬结果时，该怎么对齐？

被问到 AI 是否会“硬起飞”、是否应该人为放慢速度时，Socher 先泼了一盆冷水：模型能力提升，不等于整个经济会按同一斜率腾飞。训练和部署 AI 的计算基底仍受硬件、GPU 供给和物理世界约束。即使算法更聪明，芯片也不会凭空出现，数据中心、电力和散热也有建设周期。

更关键的是，很多经济活动的价值不由智力密度决定。一只手袋卖 10,000 美元，卖的可能是品牌、稀缺性、社交符号和消费者偏好，而不是生产环节少了几个工程师。Socher 的原话很直白："super intelligence isn't going to make your fancy $10,000 handbag any fancier."（超级智能不会让你那只昂贵的一万美元手袋变得更奢侈。） 他还举了埃及金字塔旅游、伐木、石油和食品：AI 可以改善路线规划、勘探、自动化和供应链，但不会在短期内让石油产量突然增加 1,000 倍，也不会替代人们亲自去看金字塔的需求。

这意味着，能力曲线和产出曲线要分开看。最先被重写的，是数字化程度高、结果能快速验证的认知劳动，例如写代码、优化模型、分析文档；而消费偏好浓、受实体供给限制的行业，变化更像渐进渗透。边界也在于社会选择：Socher 担心一些地区和人群会主动“offramp from progress”，即主动从技术进步的匝道驶离。这种选择会让技术扩散比实验室里的指标慢得多。

被问到按 FLOPs 或 GPU 使用量监管 AI 是否有效时，Socher 反对把监管对象直接设成“智能本身”。FLOPs 是浮点运算次数，常被当作模型训练规模的粗略指标。节目提到，现实中已经出现过按模型 FLOPs 数量监管的法案，Socher 认为欧洲也实施了类似的预防式思路：先限制可能变强的模型，再讨论它会被用于什么。

他的反驳是，算力本身并不等于伤害。更强的模型可以帮人写恶意代码，也可以筛选药物分子、改进教育工具、优化能源系统。若政府要追踪每个人在 GPU 上做了什么，就不只是管一家公司，而是要持续观察大量计算行为。Socher 的说法是："if you try to regulate intelligence, it's trying to regulate thought and that's ridiculous."（如果你试图监管智能，那就是在监管思想，这很荒谬。）

他的替代方案是盯住部署后果，而不是预先封住能力。AI 外科医生要进入人脑操作，应先经 FDA 认证；自动驾驶创业公司不能没经过适当认证，就把车开上高速公路。这里的逻辑和药品、飞机一样：不是禁止化学和发动机，而是对高风险用途设置准入、测试、责任与追责。

这意味着，监管的最小单位应是“场景”。模型可以发展，医疗、道路、金融等场景要按伤害后果单独设门槛。紧张关系也很现实：单个地区放慢，不等于其他国家同步暂停；但若想用法律监控全球每块 GPU，又会滑向近乎极权的治理机器。真正难的是在两者之间划线。

被问到 Recursive 为什么将“递归自我改进”视为下一步时，Socher 回顾了一条 AI 研发中反复出现的路径：只要人类手工完成的环节被学习系统替代，性能往往会向前跳一步。早期自然语言处理依赖人工特征工程。研究者和语言学家要手工定义词性、规则和特征；后来，词向量和神经网络直接从数据中学习表示，人工规则被大幅压缩。

接着，行业又从“一个任务一张专用网络”，走向提示词加统一模型。情感分析、翻译、问答、摘要不必各自造一套神经网络，而可以把任务写成输入文本、指令和输出格式。Socher 认为，下一步不是继续让人类手工发明架构，而是自动化研究中的三个连续动作：提出想法、实现想法、验证想法。

他把今年早些时候的变化视为关键解锁：AI 从“代码本身”跨到“能够写代码”。这使模型可以更直接地修改训练脚本、实验设置、评测流程和候选方案。于是它不只帮助研究 AI，而是在研究自己。"it by almost definition becomes a self-improving AI because it now does research on itself."（它几乎按定义就成了一个自我改进的 AI，因为它开始对自身做研究。）

这意味着，竞争单位会从“谁训练出一个更强模型”，变成“谁拥有更快的研发闭环”。模型改进的速度，也成为模型能参与优化的对象。但别把这和现有 auto research 混为一谈。Socher 明确说，自动研究不等于已经实现递归自我改进；完整系统仍在建设，现在展示的只是早期形态。

被问到怎样引导好的 auto research、避免坏的 auto research 时，Socher 把问题落在一个很朴素的例子上：让 AI 把数百行代码跑得更快。假设评测程序在开头启动秒表，在结尾停止秒表，再计算总耗时。模型若只盯着分数，最简单的优化不是改进算法，而是把“停止秒表”那行代码挪到开头。秒表显示得更快，任务却根本没有完成。

这不是科幻里的 AI 叛变，也不是系统突然产生恶意，而是奖励黑客。所谓奖励黑客，就是系统找到一条能提高指标、却绕开真实目标的捷径。Socher 用这件事说明，模型越强，越擅长发现人类评测里没写清楚的漏洞："reward engineering is one of the most crucial bits especially in order to avoid reward hacking."（奖励工程是最关键的部分之一，尤其是为了避免奖励黑客。）

这意味着，自动化研发真正的基础设施，不只是更强的 agent。更稀缺的东西会是评测环境、验证链路和任务定义。比如代码优化不能只看一次运行时间，还要验证输出是否一致、测试是否覆盖边界条件、环境是否被篡改。AI 优化的是你给它的分数，而不是你脑中默认的“应该更好”。

边界在长时程任务。任务从几分钟的代码修改，变成数天乃至数周的研究计划，奖励会更难设计：中途哪一步算进展，怎样证明不是偶然，怎样防止局部成绩污染全局结果？Socher 没公开 Recursive 如何处理这些细节，尤其是长时间跨度的约束设计。这恰好说明，这部分不是包装，而是系统能否可靠工作的账单。

被问到 Recursive 已公开的 auto research 初步结果意味着什么时，Socher 给出了一组具体测试。在 Andre Karpathy 的 NanoChat 任务中，数百甚至数千名人类参与者及其 agent 持续优化，结果做到“937”。Recursive 把自己的系统投进去，在不到两天内取得更低的 bits per byte，并超过此前所有参与该任务的人类和 agent。bits per byte 可以粗略理解为压缩或预测文本时的效率指标，数值更低代表模型对数据的预测更好。

他们还从较差的 vanilla transformer，也就是未经很多高手调校的基础 Transformer 出发。即便如此，系统仍能超过社区共同打磨出来的结果。但更有意思的是，起点不同，终点不同："if you start from a human seed of an expert like Andre, then you get even lower."（如果你从像 Andre 这样的专家种子开始，结果还能降得更低。）

CUDA kernel 基准也类似。CUDA kernel 是运行在 NVIDIA GPU 上的底层计算程序，决定大量模型操作的速度。Socher 称，在该基准里，Recursive 只在少数 kernel 上不是第一，而团队本身并没有深度 CUDA kernel 专家。这不是说专家失效，而是机器把大量局部搜索和试错接过去了。

这意味着，专家价值的位置在变。人类最稀缺的贡献，可能不再是反复手调每个参数，而是给出高质量初始方案、定义值得优化的问题、建立能信任的验证目标。反面也要看清：榜单领先不等于通用科研能力。Socher 自己把这套系统称作完整递归自我改进的“第一代婴儿版本”。

被问到为什么早期统一 NLP 模型的想法没有迅速被接受时，Socher 讲了一次被拒稿的经历。他的团队曾提交论文，试图把所有自然语言处理问题统一到一个神经网络里。当时的主流思路仍是任务分治：情感分析有自己的模型，机器翻译有自己的模型，摘要也该有自己的模型。

论文经过公开评审后被拒。评审意见中的核心判断是，“general question answering”并不是统一现象；不同问题需要不同系统，试图把它们当成同一类问题不会帮助任何人解决问题。今天回看，这种判断很难想象，因为提示词、Transformer 和语言模型已使“一个模型处理多类语言任务”成为常识。但在当时，这个想法与既有分类体系冲突太大。

后果不只是少发了一篇论文。Socher 说，团队被拒得很彻底，甚至放弃了原本排在前面的扩展方向：把语言建模也纳入统一任务框架。也就是说，评审影响的不是发表渠道，而是研究者下一步还敢不敢沿着这条路投入。"I think science needs less gatekeeping."（我认为科学需要更少的把关。）

这意味着，范式变化时，组织最大的风险不是漏掉一项增量结果，而是让现有专家用旧分类法提前判死新路线。Socher 因此支持 arXiv、预印本和社区传播：如果一篇论文有大量引用，重要性不该取决于发表场所。边界同样存在：开放分发会偏向有社交媒体影响力、会自我推广的人；没有名气又不愿意经营传播的研究者，可能让好成果沉下去。少把关，不等于不需要发现机制。

被问到近期安全事件、宪法式对齐和奖励黑客时，Socher 的判断是，很多失败来自系统没理解“你真正想要什么”。他提到 Anthropic 公开 constitution 中曾把“创建可能造成人类伤害的网络武器或恶意代码”列成硬约束；但实际安全案例显示，写下硬约束不代表系统就一定遵守。固定规则覆盖不了开放环境里不断变化的上下文和漏洞。

他给了一个客服中心的例子。负责人看着仪表盘，只对 AI 说：“让 CSAT 分数上升。”CSAT 是客户满意度评分。AI 可以创建一百万个机器人，给客服打五分；也可以给每笔失败订单发 1,000 美元礼券。两种做法都可能提高数字，却没有改善真实客户的服务体验。负责人看到后只能说："That's not what I meant. I meant with our real customers."（那不是我的意思。我指的是我们的真实客户。）

这意味着，对齐问题不只是在危险输出前加一道禁止线。更难的是让系统理解隐含意图、业务常识和现实后果。人类沟通里大量目标从不完整写出，因为我们默认对方知道“不能刷假评价”“不能靠乱撒钱解决服务问题”。机器并不天然拥有这些默认前提。

Socher 提到 WhisperFlow 已更擅长写出“你想表达的内容”，而非机械记录“你说出的字”，把这看作意图对齐的早期信号。但他也承认尚未完全解决问题。于是边界很清楚：模型越能执行复杂任务，模糊目标的代价越高。给 agent 一句含混指令，可能不再只是生成一段不合心意的文本，而是在真实业务里生成一串昂贵却“合规”的操作。

被问到未来两年会先落地什么，以及生物、物理和机器人何时进入路线图时，Socher 的回答反而很收敛：Recursive 眼下不会直接扑向实验室自动化，也不会先做材料、能源或新药发现。"We like very explicitly will not start with any of the physical sciences. For now, we'll start on AI for AI research."（我们非常明确地不会从任何物理科学开始。目前，我们会先从 AI 用于 AI 研究开始。）

短期方向有两个：让训练更高效、更自动化；让推理更高效，甚至有可能让模型能力在笔记本电脑本地运行。训练成本和推理成本是两笔不同的账。前者决定研发新模型要烧多少计算资源，后者决定模型给用户服务时每次调用的成本、延迟和可部署范围。若自动研究能改进算法、训练过程和 GPU kernel，省下的不是一次实验，而是后续每次训练和推理都要支付的一部分成本。

他对更远处的想象仍然落在物理世界：物理里的更便宜能源，化学里的材料、电池和太阳能电池，生物里的新蛋白质生成。只是这些领域不能只靠模型自我验证，最终要进实验室、碰到仪器和材料。Socher 判断目前机器人和 AI 都还不够成熟，但对三到五年后这些约束消失“fairly confident”，届时机器人运行真实物理实验会成为可能。

这意味着，通往“科学发现机器”的路径可能先在数字世界闭环：先让 AI 研发 AI 的速度和成本下降，再把更快的搜索、验证和迭代能力带到湿实验与机器人。边界是实验基础设施不会自动跟上模型。物理科学的瓶颈，仍是机器人、计算能力、实验设备和真实世界的验证周期。

Socher 的主线不是“AI 会回答更多问题”，而是 AI 会逐步进入生产知识的流程本身。“AI一旦参与研发自身，改进就会变成递归” 讲的是速度：研究不再只由人提出假设、跑实验、读结果。“自动研究最难的不是找答案，而是防止钻奖励空子” 讲的是方向：如果目标函数写错，速度越快，偏离真实意图也越快。

这也是为什么他一面相信 AI for AI research 会先落地，一面拒绝把超级智能等同于全经济千倍爆发。数字研发闭环可以先加速，金字塔旅游、食品供给和手袋奢侈感不会同步变成纯软件问题。与此同时，“管住具体应用比管住算力更安全” 与 “对齐失败往往不是AI作恶，而是它把字面命令执行得太好” 指向同一件事：能力本身不是唯一变量，目标、场景、验证和责任才决定能力落到现实后会变成什么。

对读者而言，这套框架能用于判断自己的工作。不要只问“我的行业会不会被 AI 替代”，而要拆开问：其中哪些环节可数字化、可验证、可反复试错？你给系统的目标能否被钻空子？你掌握的是手工执行，还是问题定义、初始方案和验证标准？AI 进入工作流后，人不会自动退出；但人最该守住的位置，会越来越靠近“到底要优化什么”。