Why The Harness Matters More Than The Model | YC Paper Club

同一模型，为什么代理能力差三倍

Seth 是普林斯顿研究生、Prime Intellect 研究员，也是 Prime Agent 的作者；John Sadvalone 与 Ivanka Orion 在斯坦福、由 Hazy 和 Christopher Ray 指导开发 OpenJarvis；Josh 刚升任 YC Labs 负责人，他和 Rean 则介绍了 YC 内部使用的开源工作代理 harness：QM。三组人做的是三种看似不同的系统：研究代理、个人 AI、企业工作代理。但他们都在追问同一件事：模型权重之外，到底是什么让一个代理能记住、会协作、能长期干活，又不会把公司的秘密带错地方？

这期回答了 7 个问题：

1. 为什么同一份模型权重，换一层 harness 就可能让 ARC AGI 成绩从 30% 到 95%？
2. harness 到底是什么：提示词包装、工具箱，还是代理的操作系统？
3. 为什么下一代 harness 必须允许代理修改自己的提示词、记忆乃至代码？
4. 长程任务的核心难题，真的是上下文窗口不够长吗？
5. 云端大模型怎样一次性“训练”本地模型系统，并把日常推理成本降下来？
6. 企业为什么不该让每个代理都永久住在一台独立虚拟机里？
7. 当代理能访问全公司知识时，权限系统为何会成为真正的能力上限？

被问到为什么一个看似只是“wrapper”或“scaffolding”的 harness 值得专门研究时，主持人先给了一个很不客气的对照。harness 可以先理解成包在模型外面的运行框架：它决定模型拿到什么上下文、能调用什么工具、如何循环、何时停止。Claude Opus 是最早在 ARC AGI 私有 holdout 上得到验证的模型之一，最佳成绩是 30%。但讨论中给出的说法是，只是加上一种 harness，成绩就能到 95%；Nvidia 的 AVO 更做到 100%。

"the things that we can now do just because of harnesses on the same exact weight file is just wild."（仅仅因为加了 harness，同一份权重文件如今能做到的事就已经非常不可思议。）

这里的重点不在于“提示词比模型重要”这种二选一判断，而在于 benchmark 的分数已不能只归因于模型。相同权重像同一台发动机，harness 则决定有没有变速箱、导航、仪表盘和维修机制。它可以让模型写代码检验假设、调用图像处理程序、开子代理分头探索，再把结果带回来。因此，未来比较代理能力时，“用了什么模型”只是半句话；另半句是“模型被放进了什么运行环境”。边界也很明确：不是随便套一层封装都会变强。harness 的配置、预算、工具权限和评测沙箱都会改写结果，95% 并不等于每个任务都能被同样复制。

在梳理 harness 从静态循环走向自我改进的研究脉络时，主持人把早期系统概括得很直白：先固定系统提示词、工具列表、技能列表和子代理列表，再把它们放进循环里运行。这类静态 harness 已经能做很多事，但它的“工作方法”写死在部署时。模型可以调用工具，却不能根据失败经验修改自己下一次该怎样调用。

DSPy 给出的第一层变化，是拿一小组训练样本反复生成、合并、评估候选提示词，用遗传编程式搜索找出更好的系统提示词。Darwin Machines 又往前走一步：不只改提示词，还允许改正在执行的 harness 代码。Continual Harness 则提出更激进的方向：借鉴 DAgger 风格的在线学习，在测试时根据少量新样本更新权重文件。

"Not only are you allowed to change the system prompt, but you're allowed to change the harness itself, the harness code that is actually running."（你不仅可以修改系统提示词，还可以修改正在运行的 harness 本身，也就是它的执行代码。）

这意味着代理系统的迭代单位会变。过去是“发一个新模型版本”，以后可能是持续调整提示词、记忆、子代理分工和执行代码的完整闭环。不过 Seth 也泼了盆冷水：当前模型并不擅长长期 refinement，也就是根据历史不断精修自己的做法。眼下更现实的价值，是先把这些自我修改的推理轨迹积累下来，变成下一代模型能学习的训练材料。

Seth 从第一性原理解释 Prime Agent 时，把原始 LLM 还原成一个朴素的顺序处理器：固定权重，输入 token，输出 token。模型本身不会天然拥有长期记忆，也不会天然保留上一次程序运行的变量。harness 的作用，就是在模型和外部世界之间加上一层状态、工具与计算资源。

他把不同信息层级比作缓存。模型权重像最底层、最快但最难更新的知识；活跃输入上下文像眼前摊开的工作台；IPython shell 中运行的变量，也就是 Prime Agent 所说的 ripple，存在 RAM 里；文件系统则是更持久但读取更慢的外部状态。Prime Agent 让代理直接在 IPython shell 保存和操作变量，避免把每个中间结果都重新塞回上下文，白白花 token。

这意味着长程任务不只是“把 context window 做得更长”。真正的问题是：哪些信息该留在当前对话，哪些该写进 RAM，哪些该存成文件、技能或记忆，哪些应该交给子代理暂存。系统还要会删。Prime Agent 对活跃上下文使用 compaction，也就是压缩历史；对 RAM 里的变量和子代理进行“agentic garbage collection”，类似程序的垃圾回收；对硬盘上的技能、记忆和提示词继续做更新与删除。边界在于，状态一旦散落在上下文、内存、文件和多个代理之间，压缩不够，过期信息没被清掉，同样会让系统失控。

John 讨论个人 AI 为什么不该永远依赖云端模型时，算的是一笔长期账。云端 API 能力强，但个人写作、研究、编码、日程管理等高频任务，累计下来可能是数千美元的年度调用成本；私密数据还要持续发往云端。与此同时，他判断本地 LLM 与前沿云端模型的能力差距约为 6 到 12 个月，而且随着模型蒸馏和个人硬件加速器进步而缩小。

OpenJarvis 的做法不是赌某一个本地模型突然追平云端，而是把界面、agentic logic、模型、推理引擎、硬件、工具、记忆与学习机制拆成可组合配置。云端 Claude 或 ChatGPT 可以先诊断整套本地栈，提出模型、工具、提示词和执行方式的优化方案；部署后，日常请求再交给本地模型完成。

"the gap is surprisingly closing um month after month um"（这个差距正以令人意外的速度逐月缩小。）

这是一种两阶段分工：昂贵的云端模型像低频聘请的系统教练，本地模型像常驻执行者。John 给出的结果是，即便采用当时的本地 LLM，OpenJarvis 也能把运行成本降到 800 倍更低，同时降低延迟。这里并不是“本地模型马上取代云端”。他明确承认，许多任务仍超出本地尺寸模型的能力范围。先发生替代的，会是高频、可重复、重视隐私且有明确工作流的那部分任务。

Josh 和 Rean 回顾 YC 的演化路径时，讲了一个很典型的企业代理运维故事。2025 年 4 月，YC 部署了 50 多个运行在虚拟机中的 Hermes agents。每个代理有自己的“电脑”，确实更可定制，也能像个人助理一样工作；但机器一多，维护很快变成 whack-a-mole：一台接一台 SSH 登录、排障、修复。代理拥有电脑，管理员却因此拥有了一堆需要照看的电脑。

QM 的核心调整是把代理的“脑子”从沙箱里抽出来，集中到 Postgres。所有代理对话在那里保存，跨会话积累的上下文也能重新暴露给代理使用。沙箱则不再是永久住所，而成为按需使用的执行资源：默认可用员工自己的沙箱；遇到重型开发任务，可以挑更强的机器；做简单工作，则用更轻的环境。

"sandboxes become more of this thing uh more of a resource that the agent can dip into and use as needed."（沙箱更像是一种代理可按需调用的资源，而不再是它固定待着的地方。）

这改变的不只是机器管理。QM 可通过 Slack 和 Web UI 处理邮件分流、法务和财务流程、内部数据库查询、文档编辑，以及生成内部 Web 应用。集中上下文意味着任务不会被锁死在某个人的一台 VM 里；按需调度意味着算力不必永久闲置。QM 团队仍刻意把核心 harness 做薄，只保留远程沙箱执行、对象存储读写、发布内部应用等能力，避免平台过早替代理规定一套僵硬工作法。

被问到 QM 能否从大量员工对话中形成自动改进飞轮时，Rean 给出的答案没有想象中乐观。团队确实尝试把用户对话轨迹做成 eval 集，再派出一批代理自动修复发现的问题，但结果是“mixed”。当 LLM 充当裁判，再让大量修复代理行动时，代理容易出现“main character syndrome”：它只看到自己负责的局部问题，却觉得应该大改整个系统，像摸到大象鼻子就急着重画整头大象。

数据库写入也是类似难题。QM 采用人工审核的 bulk upserts：代理先给出批量修改数据库的计划，由人过一遍再执行。但团队发现，员工已经开始对审核请求 rubber stamping，也就是习惯性点通过。人类审核存在，不等于人类真的还在审。

"the information that you can put in the brain is effectively like bounded by how good your permission system is"（你能放进这个“大脑”的信息，实际上受限于你的权限系统到底有多好。）

这意味着企业代理的能力上限，不是“能否接入更多文档”，而是身份、权限和审计能否细到足够可靠。人会凭社会语境判断一条消息能和谁说，代理没有这种天然直觉。YC 能把更多公司资源接给 QM，靠的是多年建设的细粒度权限系统。没有它，更多上下文不会带来更多智能，只会扩大泄露和误操作的半径；而自动改进与人工审核，也都还没有形成真正闭环。

Seth 展示 Prime Agent 的超长任务时，先改写了一个常见评估习惯。很多测试会给代理一笔固定 token 预算，预算花完就看分数。但这会混淆两种情况：一个系统可能很早停止工作，另一个系统继续投入 token 后仍有进展。Seth 更在意“practical plateau”，即继续增加测试时 token 后，性能何时只剩微小增益。真正的长程能力不是撑了多久，而是何时真的不再推进。

Prime Agent 做过一次持续 7 天的 Factorio 运行，总共调用 633 个代理，使用 2300 万个输出 token。子代理分头研究、建造和收集资源，再通过 refinement 利用先前的结果继续推进技术树。这里的难点不是让一个模型连续输出七天，而是让任务在多轮分工、休眠、恢复和信息交接之后，目标仍然没有丢。

"it does not get stuck and it continues to make technology progression even at the end of our uh stage."（它没有卡住，即使在我们这个阶段的末尾仍在持续推进技术进展。）

这意味着长程评估的单位会从“一次答对没有”转向“多日后是否还在产生有效状态变化”。一个代理即使偶尔回答漂亮，如果不会拆任务、保存中间变量、唤醒旧子代理、清理废状态，它也很难跨过数天尺度。Factorio 的技术树只是一个可观察的代理实验场：每一步资源、建造与研究都需要接上前一步，正好暴露出 harness 对时间、状态和协作的管理能力。

“同一模型的能力差距，可能主要由 harness 而不是权重决定”和“长程代理的瓶颈不是上下文长度，而是状态能否被程序化管理”，其实在说同一件事：模型权重提供的是原始智力，但原始智力不会自动变成一个能把事情做完的系统。模型能不能把信息留在正确的位置、把计算交给合适的工具、把局部任务交给子代理，再在需要时把它们接回来，决定了它能否从回答一句话走向推进一项工作。

再看“企业代理不该被困在个人虚拟机里”和“代理能共享多少知识，最终取决于权限系统而非模型聪明程度”，同样是一组架构问题。把上下文集中到 Postgres、把沙箱变成可调度资源，能让代理跨会话和跨任务工作；但当它开始跨部门读数据时，权限系统又决定了它到底能看什么、能说什么、能改什么。没有权限，集中知识是事故放大器；没有可审计的写入机制，自动化只会把错误批量化。

所以，接下来判断一个代理产品，不能只问它接的是哪家模型，也别只看单轮 demo 有多流畅。更该问的是：它如何保存状态？能否删除过期记忆？工具和沙箱怎样分配？云端与本地各做什么？当它碰到公司数据时，谁能限制它、谁能追溯它？这些听起来不像“智能”，却恰好决定模型的智能能否在你的工作里持续、便宜且安全地发生。