语音 Agent 的级联、端到端 Omni 与全双工架构如何取舍?
题目
语音 Agent 的级联、端到端 Omni 与全双工架构如何取舍?
参考答案
点击展开参考答案
- 级联 VAD→ASR→LLM→TTS 模块可替换、可观测、容易单独评测,但累计延迟且语调/情绪可能在文本化中丢失;端到端 Omni 直接音频到音频,延迟低、保留副语言信息,但调试、领域定制和确定性控制更难;全双工持续听说,支持打断和同声交互,状态与并发最复杂。
- 低风险客服可级联并流式化;强调自然交互可用 Omni;全双工需明确 turn-taking、barge-in、回声消除和工具期间的语音策略。
- 可观测性至少保留转录、声学事件、工具轨迹和延迟分段。
- 关键承诺/金额操作回到结构化确认,不因语音自然就降低权限标准。