输出流不能停,却必须在逐步生成中途把正在飞的 16 路 KV 由 FP16 改写成 FP8,好把并发槽位要回来。量化切分选整段重写还是只压已经封闭的前缀?尺度一断后面的 token 会漂,怎么避免?这和离线容量规划里在量化、丢历史、换出之间做三选一,差别在哪里?
题目
输出流不能停,却必须在逐步生成中途把正在飞的 16 路 KV 由 FP16 改写成 FP8,好把并发槽位要回来。量化切分选整段重写还是只压已经封闭的前缀?尺度一断后面的 token 会漂,怎么避免?这和离线容量规划里在量化、丢历史、换出之间做三选一,差别在哪里?
参考答案
点击展开参考答案
- 在途 16 路已经在用当前 KV 算注意力,流式不能停,所以这不是容量规划里的「量化 / 丢历史 / 换出」三选一,而是一次活迁移:新 token 还在往缓存尾上写。
- 量化边界优先「冻结已写块的尺度、只压已经封闭的前缀页,尾页和正在写的页留 FP16」,必要时才对整段做一次双缓冲重写并在步间隙切换读指针。
- 尺度必须按块或按 token 固化,禁止用新全局 scale 去重编码旧 K/V,否则后续 softmax 会把历史注意力重排,用户看见的是「后半句突然换口吻」而不是 OOM 恢复。
- 数据流:每路有一段已完成前缀(提示 + 已接受输出)和一页正在追加的尾块。
- 整段重写 = 分配同等 token 数的 FP8 缓冲,按块读 FP16 → 估 scale → 写出 → 一步 decode 结束时原子地切块表指针、释放旧页。