A Month After Going Viral: Jev’s Creator on Coding Agents, Benchmarks & AI’s Reliability Gap

Jev 创始人 Jo 说，模型公司都在赌“造神”，但连会计自动化都做不到，因为 AI 被 KV cache 绑住了手脚。

一家刚发布就刷屏的模型公司 CEO，公开说自家图像模型“只到文本模型的 10%”，还说整个行业在“过度承诺、交付不足”。他为什么敢这么讲？因为他认为真正的瓶颈不是模型不够聪明，而是所有 Agent 都被一个叫 KV cache 的工程约束锁死了——这期把这条锁链拆开给你看。

Jo 判断未来绝大多数模型调用不是给人看的，是给软件用的，所以他做模型的起点是“机器原生”。

• 人类消费 vs 机器消费：他常问投资人一个问题——未来所有喂给大模型的调用里，多少是给人看的（要文风、要措辞），多少是给程序用的？连最激进的“缩放派”都给出九成以上是机器消费。
• 机器不要字符串：计算机只认比特，字符串对它几乎没用，除非那字符串正好是个枚举值。所以模型该被设计成一个被软件调用的子模块，而不是聊天框。
• 他自称在 OpenAI 时是“使命感最低的那一档”：OpenAI 的使命写得足够模糊，谁都能塞进去；他现在才真觉得自己是使命驱动。

KV cache 是模型为了省算力缓存下来的对话状态，只能往后追加、不能删改，结果整个 Agent 的架构都被它牵着走。

• 像一本永远不能删页的笔记本：状态只能追加，越堆越长，模型最后被上下文拖得越来越笨。所谓“压缩上下文”就是被迫撕掉几页，撕掉的可能正是下一个任务要用的。
• 路由和子 Agent 因此失效：想把简单活派给便宜模型、难活派给贵模型，在有状态缓存下很难做；给子 Agent 传多少上下文全靠猜，传多了 token 账单爆炸。
• 他想要的样子：多个 Agent 共享同一份上下文、边跑边给你生成可视化面板、按任务 ROI 用代码算出该保留哪些记忆——这些在现有缓存机制下都做不了。

Jo 说开发者现在像《Wall-E》里躺在椅子上被喂食的人，没有 agency，只会等下一版模型来救自己。

• “我讨厌升级依赖”：生产软件里升级依赖是最烦的事，可大家却乐此不疲地换模型，唯一原因是现有模型没稳定到可以放着不管、几个月再看一眼。
• 他反 benchmark：榜单和 demo 不测可靠性，导致“过度承诺、交付不足”成了行业常态；真正该做的是把模型的锯齿（jaggedness）如实告诉开发者，让他们自己判断。
• 他最想收到的用户反馈是“你的模型在这件事上不行”：高管想约他会面他推给 CTO，但有人来报模型缺陷，他亲自下场 debug。

“如果连会计这种简单活都自动化不了，我们却能解千禧年数学难题——这本身就该让所有人觉得奇怪。”

• 如果你在做 Agent 产品，先算清楚每次调用是“缓存读”还是“全量输入”，后者成本可能是前者的几十倍；把上下文设计成可丢弃、可重建的，比换更强的模型更能省钱。
• 别把系统锁死在某个模型的脾气上（“Opus 干这个、Jev 干那个”），Jo 的目标是让模型像 SQL 一样可替换；你的架构也该按这个标准留接口。