调度把连续批的同时在飞上限放到了 64,线上并行着带 logit 偏置的翻译、0.9 温度闲聊和 JSON 贪心约束,每拍能并进同一 GEMM 的活请求大概十几条。怎样按采样与约束是否兼容来划分采样核分组,并在组间拆成多条流水、先统一采样再后处理、承认 64 只是 KV 槽位上限而不是每步一张大矩阵的保证这三条路里取舍?
题目
调度把连续批的同时在飞上限放到了 64,线上并行着带 logit 偏置的翻译、0.9 温度闲聊和 JSON 贪心约束,每拍能并进同一 GEMM 的活请求大概十几条。怎样按采样与约束是否兼容来划分采样核分组,并在组间拆成多条流水、先统一采样再后处理、承认 64 只是 KV 槽位上限而不是每步一张大矩阵的保证这三条路里取舍?
参考答案
点击展开参考答案
- 64 是 KV / 分页槽位上限,不是「每步一张大矩阵」的保证。
- 贪心+词表 mask、高温度多项采样、带偏置的翻译,控制流和要喂给采样核的附加张量不同,调度器若按兼容性硬拼,真正能共享一次 GEMM+sample 的活序列往往只剩一个子集。
- 先画兼容矩阵:相同的 mask 有无、温度是否为 0、是否存在非零 logit bias、是否要回主机做 FSM,能画进同一格的才是一个 kernel group。
- 然后三选:组与组拆成多条流水(各自小 GEMM,隔离简单);或统一「logits + bias、乘 mask、再按 T 采样」一条核,把差异收成数据而不是分支;或接受有效计算 batch 就是十几,64 只用来把显存塞满,不再幻想 tokens/s 随槽位数线性涨。
- 前向 GEMM 其实不太在乎你稍后怎么采样——同一模型、同一精度、长度落在同一桶,64 路理论上可以拼成一张胖矩阵。
- 拆开发生在 GEMM 之后:约束组要在采样前应用逐步 mask,甚至把 logits 拉回主机;闲聊组要做温度缩放和 multinomial,还可能 top-p;翻译组要在 softmax 前加上按词表的 bias 向量。