金丝雀和回放门禁要同时盯住可持续吞吐、KV 与工作区显存、TTFT 分位、以及 temperature=0 下同提示的 token 序列,该怎么设?推理引擎小版本升级、发行说明里连分页 KV 块尺寸和调度默认值一并改了时,贪心输出对不上逐字,凭什么区分数值抖动与真回归并决定整包回不回滚?
题目
金丝雀和回放门禁要同时盯住可持续吞吐、KV 与工作区显存、TTFT 分位、以及 temperature=0 下同提示的 token 序列,该怎么设?推理引擎小版本升级、发行说明里连分页 KV 块尺寸和调度默认值一并改了时,贪心输出对不上逐字,凭什么区分数值抖动与真回归并决定整包回不回滚?
参考答案
点击展开参考答案
- 引擎包(内核 + 块大小 + 调度默认)整包金丝雀,回放用冻结提示和冻结并发分布。
- 门禁四条一起看:可持续吞吐 / SLO 内完成率、KV 与工作区显存、TTFT 分位、以及
temperature=0下同提示的 token 序列。 - 贪心不再逐字相同,先不要回滚:先量近并列 token 的 logit 间隙和任务级指标(槽位、拒答、schema);只有任务指标掉、或显存/TTFT 破线,才整包回滚。
- 单看字符串不等,不够当回归。
- 小版本示意:KV 块从 16 token 改到 64、
max_num_seqs从 256 收到 128、切块 prefill 的默认开关翻转。 - 块变大改变页内碎片和内核切块,调度变了改变同批伙伴,两者都会改 GPU 归约顺序;fp16/bf16 加法不满足结合律,注意力累加的最后几 bit 会漂,贪心在 top-2 间隙极小时就会换字。