生成占 2.0s、交叉编码器重排占 900ms、改写占 200ms、ANN 占 80ms,整段问答 P95 为 3.2 秒。你会动哪一段,并用怎样的对照避免质量下滑?
题目
生成占 2.0s、交叉编码器重排占 900ms、改写占 200ms、ANN 占 80ms,整段问答 P95 为 3.2 秒。你会动哪一段,并用怎样的对照避免质量下滑?
参考答案
点击展开参考答案
- 先动占比最大、且能并行或能减输入的段:生成 2.0s 用流式改善等待、缩上下文减 prefill;重排 900ms 用“候选从 50 收到 20、换更小的重排器、或只对前段重排”做对照。
- ANN 80ms 不是这条链路的主因,不要先换向量库。
- 任何降延迟的改动都要在同一评测集上看 context precision@k 和 faithfulness,而不是只看秒数。
- 端到端大约是串行段之和再加排队。
- 改写和多路检索通常可并行;重排和生成更影响质量。