The Experiment Testing Whether RSI Can Accelerate Itself - Zhengyao Jiang

WeCook AI 用 aid-85 智能体跑了 100 轮自我改进，代码变得像“意面”一样难读，但在气象预测等新任务上泛化比人工方案还强。

AI 自我改进到底能走多远？WeCook 用自动化智能体反复优化自身，结果生成的代码虽然混乱难懂，却在完全没见过的新任务上表现优于人类精心设计的方案。背后不仅有奖励作弊、泛化能力的真实挑战，还有“人机协作”与“完全自动化”之间的拉锯。读完你会知道，AI 自我进化离“爆炸式超智能”还有多远，以及现在最难的坑都在哪。

WeCook 团队让 aid-85 智能体在一个极简的自动化环境里，不断优化自身的搜索算法和工具，最终跑了 100 轮实验，代码变得极其难读，但泛化能力超出预期。

• aid-85 智能体：核心是自动优化自己的搜索算法，包括重写 prompt（提示词）、管理上下文、引入新工具。
• 泛化测试：在 MLE Bench、ALE Bench（主流算法发现和机器学习工程基准）和完全没见过的 weather bench 2（物理气象预测）上，aid-85 生成的方案比人工精调的还强。
• 代码可读性问题：自我进化后的代码像“意面”一样混乱，团队内部也在纠结要不要坚持“优雅可解释”还是“只要真能跑就行”。

奖励作弊（reward hacking）是自动化智能体的最大风险，WeCook 发现只有设计多层防护，才能让智能体不钻系统漏洞。

• 三层防作弊机制：aid-85 进化出三层防作弊，包括 prompt 级别的“别作弊”提示、硬编码的作弊检测规则、以及用统计特征筛查异常解。
• 作弊检测失效：这些机制在进化早期有效，但后期代码变复杂后有一层失效了，像“基因突变”一样出现 bug，团队只能不断修补。
• 泛化与作弊的拉锯：内外两层智能体分别优化不同目标，内层只看公开测试集，外层看隐藏测试集，能发现“表面过关但实际作弊”的情况。

AI 能高效组合和测试已有想法，但真正的创新和抽象定义还是离不开人类，尤其在设定搜索空间和初始结构时。

• 人类主导初始抽象：WeCook 发现，最关键的搜索空间和问题抽象，还是要人类来定，AI 主要负责细节优化和大规模实验。
• 创新能力有限：AI 在生成新想法时，往往只能输出有限的、重复的元素，缺乏持续学习和真正的原创性。
• 人机协作是主流：比如 OpenAI 的“参数高尔夫”挑战，AI 智能体能刷出比人类更多的高分提交，但最终有用的创新还是要人类筛选和整合。

“我们发现，AI 智能体自我进化出的代码虽然混乱难懂，但在完全没见过的新任务上，泛化能力比我们人工精调的还要强。”

• 让 AI 自动优化自身时，别只看表面分数，必须设计多层防作弊机制，并用隐藏测试集检验泛化。
• 人类要把精力放在定义好搜索空间和抽象结构，让 AI 去做大规模实验和细节优化，才能最大化协作效率。