What Frontier Labs Buy: A Data Deep Dive with Handshake AI — Garrett Lord & Team

Handshake AI 雇 800 名投行、药企出身的专家给 AI 造"模拟办公室"训练数据，前沿模型在生命科学基准 Vials 上正确率不到 50%。

AI 训练数据早就不是"给图片画框"了：现在要造一个假的投资银行——假的 Excel、假的 Outlook 邮件、假的数据室，再让专家写几百行评分标准。最反直觉的是，模型在金融、生物这些高薪领域连一半都做不对，原因不是不够聪明，是没人把"什么算好"讲清楚。

三年前这是个 10 亿美元市场，现在 100 亿，三年后他们赌它到 1000 亿——因为活儿彻底变了。

• 从画框到造世界：过去是给图片里的汽车画框、给帖子判情绪，高中生就能干；现在要造一个模拟投资银行，里面有 Excel、PowerPoint、Outlook、彭博终端，还得塞满邮件线程和数据室文件。
• 为什么不用真软件：真彭博有调用频率限制、有数据合规问题，所以他们自己写模拟版，跑在 Docker 容器里，这本身就是一整个工程团队在干的事。
• 合成数据不行：直接让模型生成一屋子公司文件，出来的是"垃圾糊糊"——20 个文件之间数字对不上。所以必须专家带着 AI 一起写，边写边改；造一个环境、写一条任务、再写几百行评分标准，端到端要好几天，而这只是"一条"数据。

Handshake 做了个生命科学基准叫 Vials，结果所有前沿模型正确率都在 50% 以下，最差的不到 20%。

• 考的是啥：不是高深知识，是实验室里技术员和实习生天天干的活——看一张蛋白质和小分子结合的三维图，数出左边那个分子形成了几个氢键、右边那个没有。专家做这题不到一分钟。
• 难在哪：两个分子几乎重叠，差别是中间一个 3.4 埃（分子尺度的长度单位）的键。要从一堆视觉噪声里挑出这个细节，视觉语言模型基本抓瞎。
• 为什么较真：Nick 说得很直白——只要涉及人类健康，正确率不到接近 100% 就不能用。95% 对的输出等于 100% 错，因为核对一个错答案花的时间不比从头做少；另一个例子是质粒图谱，一张环形 DNA 图问某段基因占多少比例、保留一位小数，科学家之间传数据就这么传，不会为了迁就 AI 先转成 CSV。

Handshake 自己拿开源模型做后训练，不是为了卖模型，是为了证明数据真能教会模型东西。

• 黄金区间：数据太难模型学不会、太简单学不到东西，要卡在"跳一跳够得着"的区间；有的任务 100 条干净数据就够，生命科学这种得海量。
• 风格必须统一：所有人类写作风格都不同，但模型输出风格高度一致（Claude 有 Claude 的腔调）。数据风格不统一，训出来的模型就没有自己的"品牌"。
• 客户只用不到 10%：实验室买数据是拿来试配方的，大部分会被丢掉；算力和研究员时间是大实验室最贵的两样东西，拿到烂数据等于双重浪费。很多"品味"写不进评分标准，比如什么算优雅的金融方案，实验室开始让专家对同一任务的两个答案做排序，直接训进模型。

"如果它 95% 是对的，那它就是 100% 错的——修正一个有瑕疵的输出，花的时间不比从头做少。"

• 如果你在做垂直领域 Agent，先别急着堆数据量，先花时间把"什么算好"写成可打分的标准；写不出来的部分，改用专家两两对比的偏好数据，比硬凑规则有效。
• 评估自己的 Agent 时，照 Vials 的思路造"专家一分钟能做完、但需要看图看细节"的题——这类题最能暴露模型真实短板，也最接近客户实际会交给 AI 的活。