在线 13B 聊天约 80% 请求输入 ≤512 token,约 20% 是 8k 级 RAG。全局 TTFT p99 写成 800ms 之后,长提示把告警打满,短请求真变慢时值班看不见。TTFT / TPOT 按输入长度分桶,错误预算和燃烧率告警该怎么设?
题目
在线 13B 聊天约 80% 请求输入 ≤512 token,约 20% 是 8k 级 RAG。全局 TTFT p99 写成 800ms 之后,长提示把告警打满,短请求真变慢时值班看不见。TTFT / TPOT 按输入长度分桶,错误预算和燃烧率告警该怎么设?
参考答案
点击展开参考答案
- 把延迟 SLO 写成「分桶 × 分位」,不要一条混合 p99。
- 短桶(示意:输入 ≤512)TTFT p99 ≤ 800ms、TPOT p99 ≤ 40ms;长桶(示意:输入 4k–8k)单独给更宽的 TTFT(例如 2–3s,按你的 prefill 实测改),TPOT 仍按逐步间隔,不按整段墙钟。
- 错误预算按桶独立记账:短桶 30 天 99.9% 达标则预算约 0.1%。
- 燃烧率用短窗快烧、长窗慢烧两道页,长桶违约不得计入短桶预算,否则 8k RAG 会把短聊的页淹没。
- 混合流量下全局 p99 几乎总是长 prefill 的形状,不是卡变慢的形状:20% 的 8k 请求即使每条都「健康」,TTFT 也常在数百毫秒到数秒,已经盖过短请求的 800ms 线。
- 分桶键用实际送进模型的输入 token 数(系统提示 + 历史 + 检索 + 本句),不要用字符数、也不要用输出长度——输出长度管的是整段时延和 TPOT×N,应另做输出分桶或只报 TPOT。