GPU 利用率看着不差,每分钟完成数却远差于压测。怎样确认是最长那条回复把整批钉死?聊天接口用固定 batch,凑满 8 条才一起 decode。改成每个 iteration 准入和退出之后,多出来的吞吐从何处来?
题目
GPU 利用率看着不差,每分钟完成数却远差于压测。怎样确认是最长那条回复把整批钉死?聊天接口用固定 batch,凑满 8 条才一起 decode。改成每个 iteration 准入和退出之后,多出来的吞吐从何处来?
参考答案
点击展开参考答案
- 静态 batch 会把整批钉在最长那条序列上:短回复早已结束,槽位和步数却不能让给队列里的新人。
- 利用率高只说明 decode 内核还在跑,不说明每步都在产出有效 token。
- 改成按 iteration 调度后,某条一结束就释放 KV、立刻补进下一条,平均有效 batch 上升,吞吐来自少空转,而不是把单步算得更快。
- 数据流应是:到达 → 等待凑齐 B 条 → 整批 prefill → 同步 decode 到所有人结束。
- 设 8 条输出长度为 20、30、40、50、80、120、200、400,整批要走 400 步;第 20 步之后已有序列空转。