对方刚停口,大约 800ms 内必须响起第一段可播音频——场景是保险理赔热线。时延额度怎么切?STT→LLM→TTS 这条级联,对比语音到语音模型,你怎么选?
题目
对方刚停口,大约 800ms 内必须响起第一段可播音频——场景是保险理赔热线。时延额度怎么切?STT→LLM→TTS 这条级联,对比语音到语音模型,你怎么选?
参考答案
点击展开参考答案
- 核心指标是语音到语音延迟:从判定用户说完到线路上出现 agent 第一个可播音频块。
- 人类对话的自然间隙大约 200–500ms,800ms 能接得上,但几乎吃光「识别→推理→合成」三级联的首包预算。
- 级联把三跳拆开,工具、话术和可观测性好;语音到语音模型少一到两跳、能留住语气,但政策措辞、工具调用和「只播已确认文本」更难控。
- 实际系统多用级联打底并全程流式衔接,只把闲聊或高情绪轮次交给语音到语音,而不是等整句再开下一段。
- 先把 800ms 摊开才设计得下去:网关或端上的 VAD/轮次判定大约 50–150ms(太短抢话,太长像卡顿);流式 STT 吐出足够稳定的前缀大约 150–300ms;已预热且命中前缀缓存的 LLM 首 token 大约 100–250ms;流式 TTS 首音频块大约 80–200ms;剩下给网络抖动和抖动缓冲。
- 电话侧常见 SIP/RTP 或 WebRTC,编排器必须会话亲和,否则 KV cache 和轮次状态全丢。