Speech Recognition Is Not a Solved Problem — Pavan Muddireddy

Mistral 的音频模型每 80 毫秒生成一个 token，支持端到端理解、转录和语音合成，还能根据实际延迟需求灵活调整输出速度。

音频 AI 领域正从“分步转录+理解”走向端到端模型，Mistral 团队不仅让模型能直接“听懂”音频、回答细节问题，还能让用户按需调整延迟、适配各种噪音和场景。相比传统的“先转录再理解”，这种做法有哪些新优势？背后架构怎么设计？实际部署时又如何保证模型既泛用又能适配特定场景？本期用具体例子和架构细节，把音频 AI 的最新进展讲明白。

Mistral 的音频理解模型不只是转录，而是能直接回答“谁在什么时候说了什么”这类细节问题。

• Voxal Chat：用户输入音频和问题，模型能直接输出文本答案，比如“Tim 什么时候问了音频模型的问题”，甚至能给出具体时间点。
• 端到端处理：模型不依赖先转录再理解的流程，而是直接用音频原始信息，能捕捉情感、语气等转录丢失的信息。
• 多任务能力：能做转录、说话人分割、摘要等，适合会议、播客等长音频的内容检索和分析。

Mistral 用了“音频编码器+文本主干模型”的组合，既能复用文本模型能力，又能让音频信息直接进模型。

• 每 80 毫秒 1 个 token：音频先转成 MEL 频谱（模仿人耳听觉的特征），再用 Transformer 编码器处理，每 80ms 输出一个 token，和文本 token 一起喂给主模型。
• 模型训练方式：不是分阶段训练编码器和主干，而是直接端到端联合训练，保证音频和文本信息都能被模型整体理解。
• 延迟可控：实时模型可以设置“目标延迟”，比如听到“New York”后隔多少帧才输出转录，用户可根据应用场景灵活调整速度和准确率。

Mistral 的 TTS（文本转语音）模型用“连续隐变量”替代传统的离散 token，提升了生成效率和质量，并能适应各种噪音和场景。

• 连续隐变量：相比传统的“离散码本”，Mistral 用连续向量（flow matching），推理步数可控，生成速度和质量能灵活权衡。
• 抗噪音设计：数据集覆盖多种噪音环境，必要时用噪音增强（augmentation）扩充训练数据，保证模型在真实环境下表现稳定。
• 场景适配和微调：企业可用 Mistral 的 Forge 平台，用自有数据微调模型，保护隐私同时提升在特定麦克风/场景下的表现。

“我们让模型每 80 毫秒就生成一个音频 token，用户可以按需控制延迟和输出速度，适配各种实际场景。”

• 如果你要部署语音转写或语音助手，优先选支持端到端理解、可控延迟和自定义微调的平台，能大幅提升实际体验和适应性。
• 训练或选型音频模型时，关注其抗噪音能力和微调机制，确保在你的真实场景（如会议、客服、嘈杂环境）下也能稳定输出。