少量 32k 输入的出报告作业出现在日志里。傍晚高峰 p99 从约 2s 飙过 10s,而 p50 基本持平。如何证明属于队首堵住而非权重变慢,队列又该按什么轴切开?
题目
少量 32k 输入的出报告作业出现在日志里。傍晚高峰 p99 从约 2s 飙过 10s,而 p50 基本持平。如何证明属于队首堵住而非权重变慢,队列又该按什么轴切开?
参考答案
点击展开参考答案
- 先按输入长度和请求类型拆延迟:若短对话单独重放时 TTFT/TPOT 仍接近 2 秒,而与 32k 报告混跑时排队时间涨、计算时间不涨,就是长请求堵住了批或 GPU,不是权重坏了。
- 把报告生成和短对话切到不同队列与并发上限,长请求限流、短请求保留槽位;必要时对长 prefill 切块或放到另一池,避免一个报告占用整段调度量子。
- 用「排队时间 vs 纯计算时间」和分位数字段证明,而不是先换模型。
- 数据流:网关入队 → 调度选批 → prefill/decode → 回包。
- 32k prefill 可以独占加速器数百毫秒到数秒,同批或同卡上的短请求只能等,于是 p99 被少数长尾拉起、p50 仍由大量短请求决定——这正是队头阻塞的签名。