端到端语音 Agent 如何定位错误发生在“听、想、说”的哪一环?
Agent 学习与策略优化中级学习与策略优
端到端语音 Agent 如何定位错误发生在“听、想、说”的哪一环?
参考答案
点击展开参考答案
- 即使端到端,也要求旁路输出可读转录、语音活动/情绪/噪声事件、决策/工具 span 和合成音频时间线;保留输入音频的受控引用。
- 用自级联诊断:同一音频先独立 ASR,再让文本链路回答,与端到端结果比较,区分感知、推理和表达。
- 指标拆 WER/实体、意图、工具、内容正确、语音自然度、打断和端到端延迟;噪声、口音、重叠语音分层。
- 高风险动作以文本/GUI 回显结构化参数确认,避免语音识别错误直接执行。