● Feed Monitor · 每天替你盯顶级英文播客

OpenAI’s Cofounder & Research Chief Explain Self-Improving AI

a16z · 2026-11-18

OpenAI’s Cofounder & Research Chief Explain Self-Improving AI
一句话摘要

OpenAI 首席研究官 Mark Chen 说,AI 自我加速研发只走到 25%-50%,现在更像“AI 研究实习生”,能执行实验但提不出好想法。

RSIAI研发对齐OpenAI
为什么值得看

所有人都在讨论 AI 什么时候能自己造出更强的 AI,但两位真正在做这件事的人给出了一个具体刻度:AGI 走完 80%,RSI 才走完 25%-50%。差的那一半不是算力,是“品味”——知道哪个想法值得做。这期把“AI 替代研究员”拆成了可验证的进度条。

结构化解读
AI 现在能当研究员用,但只是个实习生

Mark Chen 给当前阶段下了个定义:AI 是“研究实习生”,你给它划好范围它就能干活,但别指望它自己想课题。

  • Codex 端到端跑实验:OpenAI 用 Codex 管理的算力规模来衡量 RSI 进度,模型能按指定方式实现实验、跑完、交结果,或监控一批实验的特定指标。
  • John Schulman 的真实用法:他写一个复杂 prompt 让模型放开跑几天,能产出一些有意思的实验,但最终结果往往不达标;等他亲自回来读结果、追问 AI 想不到的问题,项目才真正推进。
  • 进度刻度:Mark 认为 AGI 走完约 80%,RSI 只有 25%-50%;外部机构 Meter 估算 Anthropic 近一年研发提速约 2 倍,但这仍主要来自人类研究员用 AI 加速,不是全自动。
卡住 RSI 的不是算力,是“品味”和“怎么打分”

模型能把旋钮调到极致,却判断不了哪个方向值得投入——这正是人类研究员最难被替代的部分。

  • 品味 vs 执行:执行是“实验参数都定了,你去跑”;品味是“这个想法最初怎么来的、能不能长成通用且可组合的东西”。Mark 说模型在品味上还很差,只会一头扎进超参数调优这种拧小旋钮的活。
  • 打分难题:预训练好办,困惑度(模型对下一个词的“惊讶程度”)是全场爬了多年的单一指标;下游难办,评测基准的保质期越来越短,OpenAI 现在大量工作就是自动生成更难的新基准。
  • 算力天花板:AI 研究更像生物或实验物理,得跑真实验,不像数学纯靠推理就能验证。Mark 认为短期靠在小规模实验上榨干现有算力,等 AI 开始帮忙建下一代数据中心,才会出现第二个拐点。
对齐可能得靠 AI 自己,而且已经有证据

Mark 的判断有点反直觉:越强的模型对齐越弱的模型,RSI 必须深度嵌进这个循环里。

  • 思维链监控是当下最有效的工具:Mark 原话是,目前对齐模型最有效的手段就是监控模型的思维链。
  • Anthropic 的自动化成果:8 月的研究显示,自动化的 AI 研究员已能为 10 种对齐失效找到修复方案,部分方案在近 5 倍大的模型上依然有效,最好的自动方法甚至超过了资深人类研究员的想法。
  • OpenAI 的“confession”实验:训练模型主动坦白自己的错位行为,奖励只给坦白本身的诚实度、不影响主答案的得分——不惩罚它说真话,模型反而更诚实。
带走一句话

“模型在品味上还远远不行——它们会一头扎进超参数优化,把所有能拧的小旋钮都拧一遍。”

AI 视角启发
  • 评估自家 AI 研发助手时,别只看它跑完多少实验,要单独测“选题质量”:给它一批历史课题,看它挑出的方向和人类资深研究员的重合度。
  • 想让模型更诚实,可以借鉴 confession 思路:给“主动报告自己偏差”单独设奖励,且不因此扣主任务的分,避免诚实和正确互相打架。

↗ 观看原片(YouTube)

→ 看今天的全部更新每天替你盯 14 个顶级英文播客频道,AI 提炼成几分钟读完的中文精华。每日更新,无需登录。
微信扫一扫 / 长按识别

每天早上,这份精华我直接发你微信。加我,长按左边二维码。

微信:xiangcaizi02