The Future of Inference Market & Model Routing: Commodity or Increasing in Value? | LangChain CEO

LangChain 创始人 Harrison Chase 说，公司花在编程 Agent 上的钱一度相当于工程师薪资的 30%，一个截图插件配错，一周烧掉 4 万美元。

所有人都在说 Agent 会替代软件，但真正在一线搭 Agent 的人知道：模型是个黑箱，同样的输入能给出完全不同的输出，一个配置错误就能让账单一周烧掉 4 万美元。Harrison Chase 把 Agent 为什么难做、钱花在哪、哪些是临时补丁哪些会长期存在，讲得很具体。

Harrison 说，难的地方在于模型是黑箱且不确定——你没法保证它下次做同样的事。

• Agent 不是一次模型调用，而是一串调用叠着工具调用，每个小盒子都可能出错，错误会连锁放大。
• 输入空间无限大：用户想输什么就输什么，两个相似输入可能得到完全不同的答案，系统不可复现。
• 过去三四年 Agent 变好，一半靠模型变强，另一半靠学会怎么驾驭模型——后者才是 LangChain 在做的。

Harrison 说这跟 Cursor 的"删产品"原则一样：模型变强后，半年前必须自己写的代码现在不用写了。

• 早期 LangChain 让模型生成 JSON 再解析来调工具，OpenAI 推出 function calling 后他们全力迁移——要分清哪些是临时补丁、哪些是长期存在的东西。
• 长期存在的是模型外面那层系统：模型永远不知道你的私有数据，永远得有人把 API 请求递进去、拿结果、继续循环；会消失的是思维链、规划、工具调用这些技巧，它们会被吸进模型或模型 API 里。
• 记忆是最没解决的一块：他们做过商业记忆方案又关了，因为太通用、没找到产品市场匹配；难的不是数据库，而是把大量交互记录提炼成值得存进上下文的信息，这需要模型做"元认知"推理，而模型现在不擅长。

LangChain 用三步控成本：先看清谁在花什么，再设基本预算上限，最后优化自己的 harness。

• 他们自建了云端编程 Agent Open Suite，在 Slack 里发消息就能干活，内置 prompt caching 和路由。
• 有次一个截图插件在每轮循环都把网页 DOM 截图发给模型，一周烧了 4 万美元——不是恶意，就是配置错了。
• Harrison 预测未来可能出现一两个人管 100 个 Agent 的小团队，Agent 支出可能超过薪资；他建议做垂直 Agent 的人先从 harness 和上下文工程入手，有用户后再做后训练，回报高得多。

"模型永远不知道你的私有数据，也永远没法直接调你的 API——所以模型外面那层系统会一直存在。"

• 如果你在做 Agent 产品，先算清楚每个用户的 token 成本结构，再决定要不要做后训练；Harrison 的经验是上下文和 harness 层的 ROI 远高于后训练。
• 给 Agent 加工具时注意动态加载工具会不会破坏 prompt cache——这是很多团队账单突然暴涨的隐藏原因。