跳到主要内容

调度把连续批的同时在飞上限放到了 64,线上并行着带 logit 偏置的翻译、0.9 温度闲聊和 JSON 贪心约束,每拍能并进同一 GEMM 的活请求大概十几条。怎样按采样与约束是否兼容来划分采样核分组,并在组间拆成多条流水、先统一采样再后处理、承认 64 只是 KV 槽位上限而不是每步一张大矩阵的保证这三条路里取舍?

Agent 性能优化中级性能优化

题目​

调度把连续批的同时在飞上限放到了 64,线上并行着带 logit 偏置的翻译、0.9 温度闲聊和 JSON 贪心约束,每拍能并进同一 GEMM 的活请求大概十几条。怎样按采样与约束是否兼容来划分采样核分组,并在组间拆成多条流水、先统一采样再后处理、承认 64 只是 KV 槽位上限而不是每步一张大矩阵的保证这三条路里取舍?

参考答案​