排障助手允许自行改写问句并再次召回;上线后轮次均值来到 3.4,同一批段落还被反复打中。怎样设定停跳规则、跳数硬顶和循环识别,好把额外一轮的延迟和成本都算进预算?
题目
排障助手允许自行改写问句并再次召回;上线后轮次均值来到 3.4,同一批段落还被反复打中。怎样设定停跳规则、跳数硬顶和循环识别,好把额外一轮的延迟和成本都算进预算?
参考答案
点击展开参考答案
- 每一跳开始前先问“还够不够付这一跳”,付不起或信息不再增加就停,不要等模型自己说够了。
- 硬上限按交互 SLA 反推,例如预留最终生成约 1.5 秒后,每跳大约再 0.7–1.2 秒则线上最多 2 跳、绝对不超过 3。
- 循环用规范化查询指纹、查询向量近重复、以及新 top-k 的 chunk_id 是否已被看过三道门,而不是字符串完全相等。
- 平均 3.4 跳说明停跳条件几乎没在工作,先把空转掐掉,再谈要不要加 hop。
- 一跳的账单通常不是一次 ANN:改写 150–250ms、检索 50–100ms、若重排再 300–600ms、再加一次“证据是否够答”的短判断 150–300ms,合计大约 0.7–1.2 秒,并再付一次短生成的 token。
- 3.4 的均值意味着大约 2.4 次额外跳,端到端会从单跳大约 2 秒抬到 4–5 秒量级,费用也接近按跳相加。