How a Voice Agent Learns the Rhythm of Conversation — Shawn Wen

PolyAI 联创 Shawn 说，企业要的语音 Agent 是个矛盾体：像人一样聪明，又要像机器人一样可控，所以演示惊艳的语音模型一进呼叫中心就崩。

GPT-4o 的实时语音演示让很多人以为"语音问题已经解决了"，但 PolyAI 联创 Shawn 说，这些模型一进真实呼叫中心就露馅：打断太激进、老奶奶被抢话、后台噪音全乱套。这期把语音 Agent 为什么比想象中难、企业到底要什么、以及为什么"端到端"不等于"扔掉文本"讲透了。

Shawn 说，很多人以为把语音识别和语音合成拼起来就完事了，结果发现真正的难点在"时间"这个维度上。文本世界里模型可以慢慢想，语音对话里对方在等你开口，这个约束完全不一样。

• 语音是通往物理世界的第一步：文本和数字世界里 AI 已经能解博士级物理题，因为网上有海量论文和文档；但语音对话里多了"时间"这个变量，模型还没学会处理它。
• 人类对话的核心不是推理，是适应：Shawn 说跟人说话时，智力体现在"看人下菜碟"——对老奶奶要放慢语速、多给思考时间，而不是解数学题。
• 机器人抓咖啡杯的类比：他朋友在剑桥做机器人，第一个目标是"倒一杯啤酒"，因为物理世界的数据太少，电脑只有文本和工具使用数据，没有身体动作数据。

Shawn 说企业客户提的需求本身就打架：要像人一样强，又要像机器人一样可控。这个矛盾决定了为什么通用语音模型进不了企业。

• 品牌声音是第一需求：企业要 Agent 准确说出品牌名、用指定身份说话，这是定制化的起点。
• "像最好的员工一样好"才够：企业不会因为"跟普通人差不多"就买单，得比团队里最强的人还强，或者至少找到效率提升的明确场景。
• 通用语音反而赶客：消费者听到通用声音会立刻联想到老式 IVR 系统（"说'付款'请按 1"那种），直接挂电话或想办法转人工。表现最好的声音往往带点地方口音，比如英国呼叫中心爱用纽卡斯尔口音，因为那边真人客服多。

Shawn 说，市面上最新的语音到语音模型做演示很惊艳，但一部署到呼叫中心就在各种地方崩掉。他们决定放弃级联方案，转向端到端。

• 级联系统三个模块各干各的：语音识别、语言模型、轮次检测三个模型互不配合，得手动调参数，遇到老奶奶说话慢就乱套。
• 端到端模型直接"听"音频：模型直接处理音频流，同时预测轮次信号（对方说完了没）、生成文本回复、生成引用来源，最后才输出转录文本——顺序反过来了，因为不用等转录就能开始回复。
• 创新在 IO 契约，不在模型本身：Shawn 说底层模型几乎不重要，开源模型每周都在出新的，他们的功夫花在"怎么准备输入数据、怎么定义输出格式、怎么用这些数据训模型"上。

"企业想要一个像人一样强大的 Agent，但又想要它像机器人一样可控——这本身就是个矛盾。"

• 如果你在做语音 Agent 产品，先别急着追"端到端语音到语音"的时髦。Shawn 的教训是：企业场景里文本中间层是治理和审计的抓手，完全扔掉文本反而让合规和调试变难。
• 评估语音 Agent 时，把延迟当成一等公民。Shawn 说没有延迟考量的语音基准测试没有意义——用户等 3 秒就会慌，等 60 秒直接挂电话。