How Harvey Built a Research Lab on a Budget | Gabe Pereyra

Harvey 联合创始人 Gabe 分享：应用层公司如何用开源模型+合成数据+Neo Labs，以极小预算自建研究实验室，挑战前沿实验室。

穷应用公司，也能造出前沿智能

Gabe Pereyra 是法律 AI 公司 Harvey 的联合创始人兼总裁。他做过 DeepMind 研究科学家，也在 Meta、Google Brain 做过研究；如今，他要解决的却不是“怎样再造一家前沿实验室”，而是让一家服务律所的应用公司，能训练、评测并部署自己的垂直模型。Harvey 的路径很具体：先造基准，再造合成数据，用外部生态补基础设施，把模型放进生产系统反复筛选，最后把 AI 从律师桌上的助手，变成律所运转的一部分。

这期回答了 8 个问题：

1. 应用层公司资源远少于前沿实验室，凭什么还能训练出有竞争力的模型？
2. 为什么说没有好基准，就根本不该开始训练和部署模型？
3. 客户数据不能碰，Harvey 如何造出足够真实的法律训练数据？
4. 把自家基准开源，为什么不是把护城河拱手让人？
5. 一个后训练模型上线前，到底要闯过哪些产品关卡？
6. 拿不到 Anthropic 级研究员，应用公司还能如何组建研究团队？
7. 合成数据再逼真，为什么仍可能在真实用户场景里失效？
8. 法律 AI 的终局，为什么不是让单个律师更快，而是重做律所的协作机器？

在解释应用层公司怎样和资金、算力、人才都更充裕的前沿实验室竞争时，Gabe 先把现实说得很直白：这本来就是一场不公平的游戏。前沿实验室有更多钱、更多研究员、更完整的计算基础设施，也更容易获得数据。Harvey 四年前刚成立时，今天许多围绕模型训练和部署的公司还不存在，或只是刚起步。团队只能在“什么都自己造”和“优先做 GTM，即市场进入与销售组织，以及产品”之间选择。

现在情况变了。外部已经形成一张“前沿生态”的供给网：有闭源和开源底座模型，有后训练服务商，有托管推理基础设施，也有数据处理公司。Harvey 不需要先建一座自己的 GPU 发电厂，才有资格研究法律模型；它可以把这些能力拼成一条面向法律任务的生产线。Gabe 的判断是："But today using the frontier ecosystem I think you can compete with the frontier labs and build frontier intelligence."（但今天，我认为借助前沿生态系统，你可以与前沿实验室竞争，并构建前沿智能。）

这意味着应用公司的壁垒，正在从“有没有能力从零训练基础模型”，转到“能否把外部能力组合成一个闭环”。比如，选择什么底座模型、拿什么任务训练、怎样评测、何时路由到哪一个模型，都是垂直公司独有的判断。它不是在通用问答上打败前沿实验室，而是在复杂尽调、合同谈判、法律检索这些明确场景里，把可用性推得更高。边界也很清楚：Harvey 追求的是特定任务上的前沿能力，不是宣称自己拥有全面超越通用模型的“全能智能”。

在给出 Harvey Labs 的高层方法论时，Gabe 把“先做基准”放在所有训练动作之前。很多团队的顺序恰好相反：先找模型、跑微调、调参数，最后才想起该如何证明效果。但如果任务本身不可判定，模型每一次改动都只是在雾里开车。Harvey 一年内发布了 3 个数据集：把大型律所初级律师工作拆成任务分类的 Legal Agent Bench、合同数据集，以及大型尽调数据集。

其中，Legal Agent Bench 不考泛泛的“法律知识”，而是覆盖复杂基金设立文件起草、判例法研究等具体工作。最新的尽调数据集更夸张：最大的虚拟数据室达到 8,000 万 token。token 可以粗略理解为模型处理文本时切分出的单位；8,000 万 token 意味着模型不能只读一份合同，而要在巨大材料堆里找到关联、矛盾和缺失。Gabe 将其称为已发布的最大 RL，即强化学习训练环境之一。

他的原则近乎苛刻："If you don't have a good benchmark, you can't train models, and if you can't train models, you don't need to serve them in production."（如果你没有一个好基准，就无法训练模型；如果无法训练模型，也就不需要把它部署到生产环境。）这意味着资源该前移：先花时间定义什么是“做好尽调”、什么结果可复现、什么错误能被判分，再讨论算法和推理成本。没有共同坐标，所谓优化无法比较。不过，基准高分也不是上线许可证。模型可能学会迎合题目，放进更开放的助手产品后，面对基准没覆盖的请求就失灵。

被问到怎样在法律数据极度敏感的约束下生成训练材料时，Gabe 描述了一个典型难题。大型律所处理的并购项目，会有一个“数据室”：里面可能装着 1 万份合同，以及围绕交易的邮件、会议记录和谈判材料。这些内容不仅不公开，还是受法律特权保护的信息。Harvey 不能把它们塞进通用模型，甚至不能拿来训练自己的模型。过去让律师“手工造一个假的数据室”很别扭，因为成千上万份合同必须彼此一致，像真的交易一样能互相对得上。

Harvey 找到的解法不是先生成合同，而是先写评分 rubric，也就是判卷规则。Gabe 的弟弟 Julio 是 Harvey 的律师，他先列出尽调中应该存在的问题：哪些合同互相矛盾，哪一份关键合同缺失，哪些条款与交易条件不一致。接着，再根据这些预先埋下的错误，反向生成整座数据室；Mercor 和 Snorkel 则帮助把合同规模化，并让文本看上去更像真实材料。模型生成尽调备忘录后，团队不靠主观印象打分，而是逐项检查："Hey, did you catch all of these issues that we know that are in here because we planted them?"（嘿，你有没有找出我们因为事先埋进去、所以明确知道就在里面的所有问题？）

这意味着高敏感行业可以绕开“先交数据，才能证明模型有用；先证明有用，客户才肯交数据”的死循环。先设计可验证的错误，再生成能承载这些错误的世界，模型就有了可训练、可判分的对象。但合成世界只是起点。它再真实，也不等于客户在生产环境里真正会问什么、怎样问。

在解释为什么要把部分数据集开源时，Gabe 面对的是一个很实际的矛盾：开源后，模型实验室也能用同一套题爬分；不开源，外界又难以判断这套题是否可靠。Harvey 的答案来自他在 Google Brain 和 DeepMind 的研究经验。ImageNet、CIFAR、MNIST 这些影响深远的数据集，并不是某一家机构私藏的试卷，而是开放给大量研究者使用。正因为人多，数据里的漏洞、偏差和标注问题才更容易被挖出来。

Harvey 开源部分合成数据集后，收到了大量 pull request，也就是外部开发者直接提交的修改建议。更重要的是，开始有实验室在发布新模型时，主动用 Harvey 的法律数据集跑基准。这让 Harvey 不必亲自验证每一种新训练技术。有人说有新方法有效，先在公开基准上试；结果好，Harvey 再决定是否投入研究资源。Gabe 的判断是："It's very hard to know your data set is good unless a lot of people train on it."（除非有很多人用你的数据集训练，否则你很难知道自己的数据集到底好不好。）

这意味着基准不只是自家模型的成绩单，还可以成为行业共同接口。外部团队的复现、失败和改进建议，会变成 Harvey 的免费质量检测与技术雷达。当然，开源确实让别人也能“爬同一把梯子”。Harvey 的分层策略是：公开合成数据，推动生态整体改进；真正有战略价值的能力，则放在帮助律所基于私有数据训练其专属系统这一层。护城河不在于把每份题目锁起来，而在于谁能进入客户的真实工作流。

在说明后训练模型为什么不能一练完就上线时，Gabe 讲的不是算法，而是一张很现实的服务矩阵。Harvey 在 60 个国家运营，有多个产品界面，不同客户对模型也有不同偏好。即使只使用闭源模型，每个模型家族也要部署多个版本，并在不同供应商之间设置 fallback，也就是故障回退路径，才能满足 SLA，即服务可用性承诺。现在开源模型也进入同一套体系，复杂度只会更高。

一个新模型进入 Harvey，不管是外部闭源模型、开源模型，还是自家后训练模型，都得过几道关。先跑通用自动化评测，确认它在法律任务上的基本能力；再做人类 side-by-side 对比，让测试者并排比较它和其他模型的输出。随后，还要进入每个产品界面的关键用户旅程测试与自动化产品测试。因为一个模型可能擅长法律问答，却在某个具体交互界面中表现很差。最终决策还要看成本、延迟与地区可用性。

Gabe 的要求是："You should have it in place before you think about post-training."（你应该在考虑后训练之前，就先把这套能力搭建起来。）上线后也没有结束。大改动要做 AB 测试，持续看使用度、正常运行时间、token 效率，以及他戏称的“愤怒客户邮件”。这意味着后训练应被视为“又一个候选模型”，而不是研发部门交付的特殊圣物。没有统一的路由、回退、离线评测和线上监控，再高的训练分数也很难稳定变成用户体验。

被问到是否要和 Anthropic 等前沿实验室争夺研究人才时，Gabe 先承认了自己创业初期犯过的错误。他以前在实验室工作过，认识不少强研究员，于是会直接邀请他们加入 Harvey。但这些人拿到的是“1 亿美元以上”的薪酬包，对于早期应用公司来说，这不是靠热情能填平的差距。更麻烦的是，当时所谓研究人才不只是做后训练，还得自己搭训练基础设施、推理服务基础设施，人才要求像把算法工程、分布式系统和产品部署捆成一个岗位。

如今，Fireworks、Tinker 一类 API 和基础设施公司，把训练与服务的底层脏活做成了可调用的能力。Gabe 的概括是："You don't need to build the training and serving infrastructure."（你不需要自己搭建训练和服务基础设施。）这不等于领域公司从此不需要研究能力，而是把需要的人换了一种形态。团队更需要能把法律专家的任务定义为可训练问题、能判断数据是否可信、会调用外部训练工具，并能把模型接进产品评测闭环的人。

这意味着招聘逻辑从“找到少数能搭全栈模型系统的明星”，转向“组建懂领域、懂模型、懂产品约束的复合团队”。博士人才中也有不想去大型实验室的人，人才池因此变大。但 Gabe 没有说竞争消失了。他明确表示，Harvey 仍谈不上与前沿实验室平等争抢最顶级人才；变化只是让建立研究能力变得可行，而不是变得毫无门槛。

被直接问到还希望外部实验室解决哪些问题时，Gabe 把最大的难题指向了“分布不匹配”。这里的分布，简单说就是数据在现实中出现的样子：用户问什么、材料长什么样、任务怎样组合。Harvey 可以生成看起来极其真实的合成数据室，也能让人工专家增强它们；但这些数据毕竟是为某类任务设计出来的，不等于 Harvey 线上用户每天实际发起的请求。

他举的例子很具体：一个模型可能在尽调任务中表现优异，能读完海量合同，列出预埋的风险；可用户打开通用助手，让它起草一封邮件，它未必同样可靠。问题不在于尽调数据室不逼真，而在于“尽调”只是生产环境任务的一部分。更棘手的是，Harvey 又不能直接查看和训练客户数据，无法像消费互联网产品那样，把用户原文收集起来继续调模型。Gabe 说得很直接："The distribution of that data still doesn't match our production distribution."（那些数据的分布仍然无法匹配我们的生产环境分布。）

这意味着下一轮竞争不会只看谁更会生成高质量合成任务，而要看谁能在不读取敏感内容的前提下，让系统从真实反馈中持续学习。Harvey 已经有用户测试、产品反馈等信号，可这些信号只能间接指导未来数据集，不能把客户特权材料直接倒进训练管线。Gabe 提出的终局问题因此很硬：怎样让一家律所每完成一个客户事项，AI 都更好，同时客户数据仍被保护。这同时是技术、运营与隐私治理的难题。

被问到怎样从产品层面与通用云端工作流产品竞争时，Gabe 把视角从“律师个人”拉到了“律所机器”。一个大型律所的问题，不是让某位律师把一段条款写快一点，而是同时服务 1 万名客户，让每个客户项目顺利完成，并且能盈利。单个项目可能持续 6 个月，律所内部会有 20 到 30 人参与，还要协调客户、对方律师、审计等外部参与者。写作只是其中一个动作，真正麻烦的是谁在何时该做什么、谁等谁、信息如何流转。

因此，Harvey 看到的产品形态越来越像项目管理和资源调度。到了律所组织层面，问题变成数千个项目间如何分配人手，哪些工作可以计费，哪些客户项目值得继续投入，下一单业务该向谁推介。大型企业的情形更复杂：一家《财富》500 强公司可能同时与 1,000 家律所协作，内部也有 1,000 名相关人员。Gabe 的核心判断是："The problem they're trying to solve is not how do I make my individual lawyers more productive."（他们要解决的问题，不是怎样让单个律师更高效。）

这意味着垂直 AI 的价值会从“生成一份更好的答案”，迁移到“编排人和 agent 的协作”。agent 可以理解为能拆任务、调用工具、执行多步工作的 AI 代理。通用聊天界面可以提高个人效率，却未必理解律所的角色权限、项目阶段、计费规则与客户关系。边界也在这里：要做这一层，产品必须深入行业工作流，不能只是在一个更强模型外面套上法律术语。

Harvey 的打法，核心不是复制前沿实验室的组织、预算和算力，而是重新安排应用公司该把力气花在哪里。第 1 条“借生态造出垂直前沿能力”，说的是不要把资源浪费在与巨头正面拼基础设施；第 2 条“基准是训练与部署的起点”，说的是先把领域问题定义清楚，才知道模型究竟该往哪里改。第 3 条的“预埋错误的合成世界”，又给出了敏感行业获得可训练数据的一条现实路径。

这些环节只有接到第 5 条的生产级评测与回退系统里，才会变成产品能力。否则，后训练模型只是实验室里的一个分数。第 8 条进一步说明，法律 AI 最终要服务的也不是一个提示词、一名律师，而是跨项目、跨人员、跨机构的协作网络。

真正卡住这条闭环的，是第 7 条所说的生产分布鸿沟：系统必须从真实工作中变好，但又不能越过客户隐私边界。对任何做垂直 AI 的团队，这也是更贴身的问题。你未必需要自建大模型实验室，但必须回答：你的真实任务如何被判分？数据不能直接使用时怎样验证？模型上线后，哪些反馈能证明它帮了忙，哪些只是噪声？把这些问题接成闭环，才是在预算有限时，把“能调用模型”推进到“能交付可靠工作”的分水岭。