检索页把重排与作答塞进同一段 800ms 额度,重排一超时页面就被掏空。怎样写下时限、隔舱和「不做重排仍展示检索」的降级契约,避免最弱 AI 部件单独裁定平台在不在线?
题目
检索页把重排与作答塞进同一段 800ms 额度,重排一超时页面就被掏空。怎样写下时限、隔舱和「不做重排仍展示检索」的降级契约,避免最弱 AI 部件单独裁定平台在不在线?
参考答案
点击展开参考答案
- 页面可用性必须定义成「用户能看到可用的检索结果」,而不是「所有 AI 组件都成功」。
- 给重排单独的短超时和独立并发/配额舱壁,超时或熔断时把初检索结果直接渲染,生成再单独计时;生成失败则展示片段列表,而不是整页失败。
- 组件之间禁止共用一个无界等待和同一线程池,否则重排的尾延迟会吃光生成预算,再把网关线程卡死。
- 预算切分示例:接入加检索 150–200ms,重排 100–150ms(硬超时),生成 400–450ms,余量给网络。
- 重排超时不是错误页,而是
rerank=skipped的正常分支。