监控里流处理器的占用才 30%,可对话的长尾时延已经由 800 毫秒拉高到 4 秒。量化先别碰,排队等待、prefill、逐步 decode、显存抖动这几段,你会依怎样的顺序逐一拆开排查?
题目
监控里流处理器的占用才 30%,可对话的长尾时延已经由 800 毫秒拉高到 4 秒。量化先别碰,排队等待、prefill、逐步 decode、显存抖动这几段,你会依怎样的顺序逐一拆开排查?
参考答案
点击展开参考答案
- 先把 4 s 拆成排队等待、prefill、逐步 decode,不要看端到端一个数。
- SM 只有 30% 说明卡没吃饱,量化或换内核多半不是第一刀——更常见是请求卡在 KV 预留、队头阻塞、CPU 侧分词或调度,或副本不均。
- 只有分段之后确认「计算步本身又慢又闲」才进入内核级剖析;先改量化会同时搅动质量和一个本不该动的变量。
- 建议顺序:①按请求打点入队、开始调度、首 token、后续 token 时间,得到 queue、TTFT、词间间隔。
- 若 4 s 里有 3 s 是 queue,去看队列深度、每租户进行中请求、是否在等 KV 块而不是等 SM。