What 90,000 Rollouts Reveal About AI Agents Doing Science - Ian Quigley, Leash Bio

Leash Bio 用 DNA 编码库和 RL 环境让 AI 像药物化学家一样筛分子，最强模型能在 9 万次实验中主动跳出“烂区”找到更优分子。

Leash Bio 把真实分子筛选实验做成了“虚拟实验室”，让 AI 在有限预算下像药物化学家一样探索分子优化。不同大模型在这里的表现差异极大：有的模型会死磕烂分子，有的能及时止损、跳到新区域。你能看到 AI 如何做科学决策、失败时会卡在哪，以及哪些模型真的学会了“什么时候该走”。这期还首次公开 9 万次 AI 实验的全记录和环境，任何人都能复盘和对比。

Leash Bio 用真实的 DNA 编码库数据，搭了一个让 AI 像药物化学家一样试错的沙盒环境。

• DNA 编码库：Leash Bio 已用 DNA 编码库筛了约 1000 个蛋白，每个蛋白都测了大量分子的结合能力，数据全量开放。
• RL 环境机制：AI（比如大语言模型）被丢进这个环境，只知道目标蛋白和分子目录，有 100 次实验预算，目标是找到结合力最强的分子。
• 即时反馈和高频实验：所有实验结果都已预先测量，AI 每试一个分子就能立刻知道效果，累计已做了约 9 万次 AI 实验。

Leash Bio 发现，强模型更懂得及时止损和探索新区域，弱模型则死磕无效分子。

• 强模型会主动跳出“烂区”：像 After Six、Sonnet 55、Sol 61 这类 Frontier 模型，发现当前分子区效果差时，会果断放弃、转向新区域。
• 弱模型反复浪费预算：表现差的模型（如 Five 系列）会在低分子区反复微调、死磕无望分子，预算很快花光也找不到好结果。
• AI 能输出“科学假说”：模型会用自然语言写出自己对分子结构和活性的推测，比如“这个环结构有用”“这个氮原子不利”，和人类化学家思路类似。

Leash Bio 发布了完整的 RL 环境包和数万条 AI 决策记录，方便外部复盘和对比模型表现。

• 全景数据开放：所有模型的实验过程、假说、决策路径都开放，任何人都能分析 AI 的“失败模式”。
• 可扩展到更多生物问题：Leash Bio 正在每天新增 2 个环境，计划扩展到 20 个/天，未来可覆盖更多生物决策任务。

“更强的模型会更快地放弃无效区域，弱模型则会在烂地方反复试，预算全浪费。”

• 用 Leash Bio 的 RL 环境和全流程数据，可以直接对比不同模型的探索策略和失败模式，帮你挑出最适合自己场景的模型。
• 这种“虚拟实验室”机制可以迁移到其他科学领域：先积累全量实验数据，再让 AI 在里面无限试错，极大降低真实实验成本。