AI:AM Highlights: Astra as AGI, OpenAI's Pause, Mythos @ Mozilla & Human Agency vs Technocapitalism
Cognitive Revolution · 2026-09-13

OpenAI 内部模型已比 GPT-6 Astra 强一个档,数学题解出率从 15% 提到 45%,但外部审计机构只拿到 3 天测试时间。
AI拿走执行权,责任却没人接
这是一期多嘉宾周报,最有一线工程分量的嘉宾是 Mozilla CTO Rafi Creoran。他曾负责 Twitter 平台工程、Uber 自动驾驶开发,也做过 Democratic National Committee 的技术工作。他谈的不是“AI 会不会写代码”这种抽象问题,而是 Firefox 这样一个庞大代码库,究竟允许 AI 做到哪一步、谁来对提交结果签字。整期讨论从 Astra 能替人标图,一路推到外部审计、中美事故热线和政府该怎样约束前沿实验室。线索很清楚:机器拿走执行权之后,人类组织有没有接住责任的接口?
这期回答了 7 个问题:
- 为什么最先消失的可能不是岗位,而是人工外包的可信性?
- AI 能连续做几周任务,关键真是更大的上下文窗口吗?
- 当模型迭代快过任务测评,传统能力基准还有什么用?
- 哪些代码可以交给 AI 黑箱生成,哪些必须由人类读懂并签字?
- 为什么只给外部审计团队三天测试,几乎等于没有审计?
- AI 军控为何连一条事故热线都可能建立不起来?
- 既然没有“更成熟的大人”能接管,政府究竟该如何约束 AI 竞赛?
讨论 Astra 是否跨过“真正有用”的门槛、到底能替代什么任务时,节目提到 Skolski 的一项旧工作:他曾手工标注 12,000 张篮球场图像,逐张区分球员、裁判,以及每位球员所属的球队。这不是只框出一个篮球那么简单,而是把画面里的角色关系也补全。节目认为,如今 Astra 已经能完成这件事,因此结论说得很绝对:"This is a task that a human being will never do again."(这是一项人类再也不会亲自去做的任务。)
关键不只是这类标注岗位会不会减少。更深的一层是:即使客户仍然花钱雇人工团队,交付链路也可能变成“人接单—AI 完成—人提交”。客户收到的文件看起来仍是人工外包的结果,背后却未必还有逐张操作的人。人工交付从此不再天然等于人工劳动。
这意味着,外包和初级知识工作的竞争重心会移位。稀缺的不是点击鼠标、画框、填表的人,而是能把模糊需求定义成可执行任务的人;能抽查错误、处理边缘案例的人;以及愿意为错误结果承担责任的人。过去客户买的是人力,现在更像是在买一套“任务说明+质量验收+责任归属”。如果供应商不能说明结果是如何验证的,“由人工完成”这句话本身会越来越不可靠。
被问到 Astra 为什么能在复杂长任务里持续推进,而旧模型常常绕几圈就放弃时,Praash 给了一个周末实测:他连续运行了 3 到 4 个 Astra agents,让它们处理自己搭建的 studio codebase 中长期遗留、一直很烦人的问题。它们不只是回答“建议你检查这里”,而是开始实际解决这些积压问题。
节目对其机制的理解是,Astra 不再把约百万 token 的上下文压缩成一段摘要,然后带着丢失细节的摘要开启新窗口;它会维护一份可以持续更新的长期笔记,并且能回头搜索自己的 session history。原话是:"Now there is a long lived notes file that the model can update whenever it needs to."(现在有了一个模型可随时更新的长期笔记文件。)
这有点像一个工程师不再只靠脑内短期记忆,而是持续维护故障日志、决策记录和待办清单;忘了某个分支为何失败,还能翻回旧记录。主持人估计,尽管模型一次完整注意力覆盖的可能仍是百万 token,但靠笔记和检索,单次 rollout 能有效管理至少约 10 倍的上下文。
这意味着,agent 接下来的瓶颈未必是“这一轮会不会推理”,而是能否保存项目状态、记住失败路径,并在数日后重新接上工作。能力标准会从“会不会做”变成“能不能把事做完”。边界也要留住:这只是节目根据观察作出的机制推断,Anthropic 是否采用同样方法,并没有得到确认。
讨论怎样衡量 agent 究竟能完成多长的人类工作时,节目先谈到 METR 图表。METR 长期追踪 AI agent 可完成任务的时长,但图表已经许久没有更新。原因未必是研究机构停止工作,而是它们面对一个尴尬问题:模型的开发周期已经短于大型任务的测量周期。等你找好任务、跑完评估、复核结果,下一个模型可能已经发布了。主持人的判断是:"They don't have tasks that are big enough."(他们已经没有足够大的任务可测了。)
替代它的,是按任务时长分段的成功率。节目解读 OpenAI 图表称:对于人类预计需 1 到 2 个工作日的任务,Astra 在零人工干预下约有 40% 成功;允许人工介入,接近 90%。任务拉长到人类需 1.5 到 3 周时,单次零干预成功率约为六分之一;允许干预后约为三分之二。这个差距说明,人类不是被完全移出流程,而是在长任务中被压缩成处理关键卡点的“异常处理器”。
这意味着,静态排行榜正在失去解释力。今后的测评应是一组持续更新的任务组合:既记录 agent 能否独立完成,也记录人类在哪一步介入、介入几次、介入后是否稳定收敛。否则“能做三周工作”很容易掩盖成“人要不断救火三周”。而 OpenAI 所谓的“agent workday”如何定义,主持人也承认并不“super crystal clear”;这个单位本身仍需要更透明的方法说明。
Mozilla CTO Rafi Creoran 被问到:如果 agent 能生成性能很好、但人类读不懂的黑箱代码,团队会不会接受?他的回答没有给出一条统一政策,而是展示了 Mozilla 内部已经存在的两种制度。Firefox 团队当前的规则是:"Only humans can commit to the codebase."(只有人类可以向代码库提交代码。) 人可以让 agent 写代码,但提交前必须审阅、理解,并愿意为结果负责。
与此同时,Mozilla 内部另一支 AI 团队已有完全由 agent 生成的代码库。人类把 specs,也就是需求规格,放进 git;CI,即每次改动后自动构建和测试的持续集成流程,会自动重新生成代码。人类没有写过一行代码。这个代码库每小时都可能发生大幅变化,但 unit tests 和 end-to-end tests 都通过,因此功能层面保持稳定。
这揭示了“代码库的社会契约”是什么:团队先约定谁能改、谁看得懂、谁对后果负责。对于 GPU kernel 一类可用测试严格定义正确性的系统,黑箱和可读性可以被性能让位。可 Firefox 不只是一个功能集合,也是长期由人类贡献创意的社区项目。人要能读懂代码,才知道创意该插进哪里,维护者也才能接手。
因此,企业不会只有“允许 AI 写代码”或“禁止 AI 写代码”两种选项。能被测试充分定义的功能型系统,可以高度自动化;需要长期维护、协作和创造的系统,必须保留可读性与签字人。Rafi 也承认 Mozilla 内部做法已经截然不同,关键不是套规则,而是先把每个 codebase 的责任契约说清楚。
讨论 Apollo Research 据称只有 3 天测试 Astra 时,节目提出一个刺耳的问题:如果审计者只有三天,为什么还要把它叫作审计?Apollo 并非临时凑出的机构,它长期与 OpenAI 合作研究欺骗、scheming,以及 chain-of-thought monitoring,也就是监测模型推理过程中的危险倾向。但这次面对发布版本,它获得的窗口据称仍只有 3 天。
Praash 解释了模型公司的现实流程:管线中可能同时有约 100 个候选版本,层层淘汰后才剩两三个 release candidates,最终决定有时就在发布前两三天。若实验室坚持最后确认哪个版本,就只审哪个版本,外部团队自然只能获得极短时间。提前一个月介入也不容易,因为规模较小的审计团队没有人力审十个候选模型,还会接触更多商业机密。
更棘手的是独立性。审计团队的资金和人数远少于前沿实验室,部分机构依赖模型公司资助;成员数年后流向模型公司,形成旋转门。METR 表示不接受前沿模型公司的资金,但节目认为,最大压力甚至不是钱,而是访问权:"They can't complain too loudly or they might not get invited back."(他们不能抱怨得太大声,否则下次可能就不会再被邀请了。)
这意味着,自愿外审很难构成稳定制衡。只要被审公司同时掌握测试资格、未来访问和部分资源,监督者的风险就不只是技术能力不足,而是说真话的激励被削弱。让审计者更早进入会碰到保密问题;让公司承诺不挖审计人才又可能触及反垄断。问题没有现成出口,但把三天测试包装成充分监督,显然不是出口。
Colin Hog Spears 被问到中美领导人会晤是否可能为 AI 竞赛建立协调机制时,先给出了中国监管的一面。中国在 2022 年算法监管后,要求模型登记,并允许政府测试模型。大型企业因为已有相应基础设施,能把这些要求放进工程 backlog,也就是开发排期和待办系统里,因此反应较快。监管未必没有成本,但它不是在模型发布前一天突然砸下来的未知命令。
不过,Colin 对中美短期达成类似核军控的 AI 协议预期很低。他判断,中国政府不会主动接受这样的协议:一是执行难度远高于核军控,模型能力、算力使用和训练活动都难以像核设施一样核查;二是美国需要作出重大让步,谈判不会只围绕 AI 单独发生。
短期最现实的成果,或许只是针对特定事故的信息通报渠道。听起来门槛已经很低,但连这个也未必可靠。Colin 举例,美中军方已有紧急直连电话,南海发生事件时,美方会联系中方对应人员,可结果往往是:"They usually don't pick up the phone."(他们通常根本不接电话。)
这意味着,企业和公众不能把风险控制押注在某项即将到来的大国条约上。更可能出现的,是覆盖少数情形、缺少互信、随时可能失灵的沟通机制。即便热线建成,真正的问题也不是号码有没有开通,而是在危机时刻谁有权接、谁敢接、接通后双方是否共享足够信息。把它当作共同限速器,会高估它的承载能力。
围绕 Anthropic 研究员 Jacob Coxin 的辞职,讨论聚焦于一个不舒服的问题:私人公司是否该决定何时发布自我改进的超级智能?Coxin 质疑,接受这场竞赛并进入终局,不该从“private company Slack”里启动。Praash 的回应同样不舒服:"There is no adult in the room."(房间里没有哪个“大人”能接管。) 把责任交给政府,并不会自动换来更懂技术、更有判断力的人,更多是获得政治合法性。
主持人因此提出一种不同于“政府直接接管研发”的路径:政府先明确,前沿公司开展安全协作不会成为反垄断执法对象;再给少数公司一个很短期限,让它们拿出彼此约束、彼此验证的方案。谈不成,政府再以更重的方式介入。这里的逻辑像家长对几名打架的孩子说:你们先把规则写出来;写不出来,我来写,而你们大概率不会喜欢。
但 Praash 提醒,口头支持不够。Operation Warp Speed 期间,制药公司明确要求未来疫苗索赔的豁免,并通过立法获得。原因很现实:今天的官员可以表示支持,明天的政府、法院和律师不受今天的表态约束,只有法律能绑定未来决策者。
这意味着,治理重点不该假设监管者比实验室更聪明,而应设计有期限、有安全港、可追责的压力,让竞争公司把彼此的不信任变成可验证的协作。难题仍然存在:拥有数十亿美元、律师团队和诉讼能力的 Elon、Zuck 等人,究竟愿意签下什么?但如果没有法定保障,任何“我们会负责任地减速”的承诺,也只是下一轮融资、下一次模型发布之前的临时表态。
本期真正的主线不是模型又强了多少,而是执行权移走之后,责任接口有没有一起迁移。
“人工标注的终点不是裁员,而是所有人工交付都会先经过 AI”说的是任务执行层:客户很快难以从结果表面判断,究竟是谁完成了工作。“AI 代码能否上线,不取决于能不能跑,而取决于代码库的社会契约”说的是组织层:当机器已经能生成能跑的东西,团队仍要先决定谁看得懂、谁签字、测试覆盖什么、出了事故谁接手。
同一条线继续往外延伸,就变成“第三方审计越依赖实验室的许可,越可能沦为被允许的监督”。如果审计者只有三天窗口,且下次能否进门取决于被审对象的好意,那么责任不是没有人挂名,而是挂名的人没有足够条件履行职责。再往国际关系推,“一条没人接的事故热线”则说明:即使各方都承认风险,沟通机制也未必在关键时刻工作。
对读者而言,最实际的问题不是要不要把 AI 用进工作,而是每交出一部分执行权时,能否同时保留三样东西:定义任务的权利、验证结果的能力,以及出现损失后明确的责任人。AI 可以替你标 12,000 张图、连续跑几周代码、生成一整个代码库;但它不会替你决定什么结果算合格,也不会替你的团队、客户或用户承担后果。真正稀缺的,正在从“亲手做事”变成“把责任结构搭在机器速度前面”。
