Token budgets, building at the edge, and the future of product | Dianne Penn

Anthropic 产品负责人 Diane Penn 透露，团队把“Evals（自动化评测）”当作新一代 PRD，用它驱动模型和产品迭代，彻底改变了 AI 产品经理的工作方式。

AI越会反驳你，越能成为生产力

Dianne Penn 是 Anthropic AI Research 与 Labs 团队的产品负责人。她在 2023 年以首位技术产品经理身份加入 Anthropic，当时产品工程团队只有 5 人；此后参与推动了从 Claude 2 到 Fable 的模型，也参与孵化 Claude Code、MCP、Skills 等能力。她的特殊位置在于：一头扎在模型训练、评测与安全测试的循环里，另一头要把用户真实失败的瞬间翻译给研究员。这期访谈谈的不只是 Anthropic 如何做产品，更是在回答一个更难的问题：模型越来越强后，人和组织究竟该把力气花在哪里。

这期回答了 8 个问题：

1. 为什么模型能力不是平滑升级，而会在某个节点突然“跳变”？
2. 当 PRD 不再足够时，产品经理究竟该如何用 eval 定义用户问题？
3. 为什么 Claude 不能只会服从，而必须学会在恰当时机反驳用户？
4. Labs 团队如何在方向上坚定、在具体原型上随时推倒重来？
5. 花更多 Token 真能获得 AI 红利吗，还是组织协作方式更重要？
6. 为什么资深产品管理者反而必须亲自上手、持续交付？
7. 作为大语言模型，Claude 为什么仍然没有解决“好写作”问题？
8. 当模型迭代速度倍增，组织靠什么避免把高绩效变成集体耗竭？

被问到过度依赖 AI 会不会让人停止思考，以及为什么安全与对齐反而让 Claude 更有用时，Penn 给出的标准不是“回答更快”，而是“能不能让人的最终想法变好”。她曾拿一个研究版本的 Opus，讨论下一版 Claude 该怎么定价。让模型参与讨论，不是为了让它替人拍板，而是检验它能否指出方案里被忽略的假设、替代路径和风险。

她把“主动性”说得很具体：AI 不只是完成被安排的任务，还要知道什么时候提出新想法，什么时候该反驳。"a thinking partner doesn't just agree with you."（一个思考伙伴不会只是同意你。） 如果 AI 永远顺着用户说，它只能把既有思路润色得更像样，最多把原方案提升一点点；如果它能在合适时刻提出异议，用户才可能带着一个不同于原先、也优于原先的判断离开。

这意味着，AI 产品的评价尺度会从“服从度”转向“异议质量”。比如用户让它比较两个定价方案，真正有用的回应不只是列优缺点，而是追问：你的目标是收入最大化、用户增长，还是降低使用门槛？不过，反驳不是越多越好。关键在“正确的节点”：无差别唱反调，只会把协作变成抬杠；能识别何时该执行、何时该挑战，才是思考伙伴和听话工具之间的分界线。

被问到团队如何面对 AI 的加速进步时，Penn 提醒大家别把模型能力想成一条匀速上升的直线。原始 scaling law，也就是“规模定律”论文里有一条看起来很平滑的曲线：数据和算力增加后，模型预测下一个 Token 的误差会持续下降。这里的 loss，可以简单理解为模型“猜下一个词猜错了多少”的损失值。单看这条线，会让人以为能力也会一点点、可预测地增长。

但同一篇论文中的能力图不是这样。Penn 举了最直白的例子：模型会从连“1 + 1”都算不出来，突然变成能够稳定计算；不是每次训练多一点，就必然多会一点。"These jumps might actually happen and you don't know."（这些跃迁真的可能发生，而你并不知道它何时发生。） 团队不知道某个能力会在哪次训练、哪个模型版本出现，只能不断测量，等待边界松动的信号。

这意味着，产品路线图不能只写成“下季度上线 A，再下季度优化 B”。更重要的是持续盯住能力边界，并为优先级重排留出空间：本来预期半年后才能做的体验，可能因为某个模型跳变而突然提前。反面是，能力突然出现也会让安全测试更难。若没有对应的 eval、红队测试和发布流程，团队可能先把能力交给用户，之后才发现它在新情境下会做出危险或失控的行为。

被问到 AI 产品经理如何体现第一性原理思考时，Penn 说团队内部有句话："Evals are the new PRDs."（评测正在成为新的 PRD。） PRD 是产品需求文档，过去常用来定义要做什么、为什么做、谁来做。eval 则是评测集：一组可复现的输入、预期表现与判定标准，用来持续检测模型是否真的解决了某类用户问题。

Claude 2 早期，用户常抱怨“Claude 不擅长遵循指令”。这句话太模糊，直接交给研究员几乎无法修。Penn 的团队继续往下问：哪段指令？用户想要什么格式？Claude 实际答了什么？最后发现，大约 80% 的抱怨其实是 Claude 无法输出正确的 JSON。JSON 是一种机器可读的结构化数据格式；它写错了，后续 API 调用、工具调用和自动化流程就可能全断。

团队先收集约 30 到 40 个失败案例，形成 eval 集。每个 Claude 新版本都跑一遍；Penn 说，这一项如今已达到 100% 或 99.9%。这意味着，模型 PM 的关键交付物不再只是写下“提升指令遵循能力”，而是把模糊抱怨翻译成研究团队能复现、能修复、能验收的失败条件。PRD 并未消失：当工程、法务、安全等大量角色要围绕一次发布达成共识，或团队探索尚无明确痛点的新机会时，PRD 仍是必要的共同语言。

被问到 Anthropic 已经有核心产品团队，为何还需要 Labs 时，Penn 把 Labs 的职责定义得很窄也很狠：寻找主路线图之外，可能带来 10 倍、100 倍甚至 1000 倍价值的非连续大赌注。Claude Code、Skills、MCP 等项目都与这种机制有关。Labs 不要求一开始就有大团队；有些想法可以从一名工程师开始，先验证那个模糊但可能重要的方向。

它的核心工作法是：对问题主题保持强信念，对首版解法保持低执念。"You can be very strongly held opinion about the theme or the area and then more weekly held about the exact prototype."（你可以对主题或领域抱有极强信念，但对具体原型保持更弱的执念。） 比如，团队可以坚定相信“AI 需要更好的代理式工作方式”，却不必执着于第一个界面、第一种交互流程或第一套技术实现。

Penn 说，Labs 会关停暂时无效的赌注，也可能在一到两个模型代际之后重新回来看。当时跑不通，不代表方向永远错误，可能只是模型尚未到位；即使原型没上线，也能帮助团队知道什么不成立。这意味着，0 到 1 的组织不该把资源锁死在首版方案，而要把承诺放在长期判断上。代价同样明确：成员必须能接受自己像创始人一样投入的项目被叫停。因此，Labs 要找的不是只擅长维护既有业务的人，而是能承受高不确定性、也能从失败原型中提取信息的人。

被问到“如果现在每年肯花 10 万美元买 Token，就等于提前过上 2028 年的工作方式”是否成立时，Penn 没有否认大量使用模型的重要性，但她把焦点从成本挪到了产出。Token 是模型处理文本时消耗的单位，花得越多，通常意味着可以跑更多轮对话、调用更多工具、完成更长的任务。可 Token 支出只是输入，真正该追求的是更高频、更有效的实验。

Anthropic 早期有一个 Slack 频道，几乎全公司都在测试早期 Claude。有人拿它改文章，有人让它起草邮件。当一个人分享了新用法，其他人会继续试不同变体；Penn 的观察是，大约 10 次请求之内，就可能出现一个“神奇时刻”或一个新的使用场景。"Experimentation is not always necessarily a individual sport."（实验并不一定是单人运动。）

这意味着，领先优势不只属于 Token 预算最高的公司，而属于能把个人试错变成集体发现循环的组织。一个员工摸到的提示词、一种工作流或一个失败边界，如果被公开、改写和复用，会像滚雪球一样累积。边界也很现实：工具、原型和模型版本太多，会让人只是在浅尝辄止。Penn 的做法是一次只深挖一到两个产品或原型。不是少试，而是让有限注意力真正穿透到能产生新判断的深度。

被问到产品经理该培养哪些新能力时，Penn 的回答有点反常识：她的团队三年来没有改变 PM 招聘流程，仍然重点考察第一性原理思考。所谓第一性原理，不是把过去消费产品或 B2B SaaS 的套路照搬过来，而是回到眼前这个用户、这项技术和这个限制条件，重新判断什么才是用户价值。

变化不在于管理者可以离细节更远，而在于他们必须更近。即使是经验丰富的 PM，入职计划也和初级员工一样：理解用户、阅读经授权的用户反馈、与客户交流。Penn 自己在模型发布期，也会亲自负责一到两个工作流，以便持续感知模型能力进展和边界。"If you're a manager, you have to be hands-on."（如果你是管理者，你就必须亲自上手。）

这意味着，资深产品岗位的价值不再主要由管理层级决定，而取决于他能否直接判断：模型到底能做什么，用户在哪一步失败，交付质量是否真的达标。AI 产品的变化太快，若只通过汇报、仪表盘和二手总结理解进展，很容易拿旧经验去管理新能力。亲自下场不等于管理者包办所有工作，而是要刻意划出一部分时间，持续走进团队正在面对的技术细节与用户细节；否则，所谓战略判断会很快失去地基。

被问到为什么 AI 写作依然容易被识别、未来能否写到人类难以辨别时，Penn 没有把“大语言模型”当成天然保证。她直接承认，Claude 的写作仍有改进空间，产品与研究团队正在持续投入。"We need to invest more in training improvements to make AI continuously strong on areas like writing."（我们需要投入更多训练改进，让 AI 在写作这样的领域持续保持强大。）

她用“锯齿状边缘”解释这种现象。模型能力不是整齐的一圈，而像一把锯子：某些齿很高，某些地方仍然粗糙。过去模型可能写作相对好，但代理能力不足。代理能力，指模型能调用工具、分解任务并把一串操作跑下去的能力。团队后来强化工具调用和代理行为，这部分能力变强后，写作的粗糙感就显得更突出，成为新的边缘短板。

这意味着，企业不能因为它叫“大语言模型”，就默认它适合承担所有文字工作。写作质量不只有语法正确，还包括语气、角色感、信息取舍与作者自身的判断。Penn 已将写作质量、语气和角色感列为明确优先级，但没有承诺何时解决。边界在于，能力补齐不会让问题终结：当某项粗糙边缘被磨平，新的短板会继续显露。模型进步更像修一张不断延展的地图，而不是完成一份固定的待办清单。

被问到如何在模型发布节奏加速、又身兼母亲和产品负责人的情况下避免耗竭时，Penn 给出一个很具体的速度参照：Anthropic 在 2024 年全年发布了 4 个模型系列，而今年第二季度的发布量已经超过那个量级。模型能力变快，意味着用户反馈、训练结果、发布决策和产品调整都在压缩到更短的周期里，个人很容易误以为自己必须把每一个变化都扛下来。

她描述模型发布前夜的场景：即使不是某个模型的核心 DRI，DRI 即直接负责该项目的人，团队成员仍会留下来帮助他审博客、改文案、想更好的演示。"Nobody can do that sustainably by themselves."（没有人能靠自己可持续地做到这一切。） 这不是把所有人都拖进加班，而是让关键工作不只存在于某一个人的脑子里。

这意味着，AI 放大的不只是个人产出，也包括个人必须做出的判断规模。可持续的高绩效取决于团队能否共享第一性原理、上下文和互相补位的能力。Penn 对“休假”的标准很有代表性：不是休假回来面对三倍工作，而是休假时确信团队能自行做出正确判断。反面是，高速度会诱发一种英雄主义幻觉，仿佛越能独自扛住变化就越优秀。实际上，若判断无法被他人理解、挑战和接手，组织只是把风险藏进了一个高绩效个体身上。

Penn 讲的并不是一套“如何更会用 AI”的技巧，而是一场产品工作重心的迁移。第三条“评测集正在取代 PRD 成为核心交付物”，说的是产品经理要把模糊的用户抱怨变成可检验的失败条件；第二条“模型能力会突然跳变”，说的是即便测量体系搭好了，团队也不能以为路线图会按计划慢慢兑现。两者指向同一件事：在能力边界不断移动的环境里，最重要的不是写出一份看起来完整的计划，而是建立一个能发现变化、解释变化、立刻重写判断的反馈回路。

第一条“越会反驳你的 AI，越可能成为真正的思考伙伴”和第八条“组织瓶颈变成能否共享判断”也在说同一个核心。AI 不该让人沦为孤立的任务分发器，团队也不该靠某个能熬的人硬撑。一个好的模型会在该反驳时反驳；一个好的团队会让成员理解彼此的原则、补上彼此的盲区。

放到读者自己的处境里，问题不只是要不要多买 Token、要不要再学一个新工具。更具体的问法是：你是否知道用户究竟在哪一步失败？你是否把一次实验的结果分享给了别人？你是否仍亲手接触技术和交付？以及，当 AI 给出一个流畅答案时，你有没有保留让它挑战你的空间。模型会继续加速，但能让人不被速度裹挟的，仍是可验证的判断、可共享的上下文，以及不只会点头的协作关系。