跳到主要内容

输出流不能停,却必须在逐步生成中途把正在飞的 16 路 KV 由 FP16 改写成 FP8,好把并发槽位要回来。量化切分选整段重写还是只压已经封闭的前缀?尺度一断后面的 token 会漂,怎么避免?这和离线容量规划里在量化、丢历史、换出之间做三选一,差别在哪里?

Agent 性能优化中级成本规划

题目​

输出流不能停,却必须在逐步生成中途把正在飞的 16 路 KV 由 FP16 改写成 FP8,好把并发槽位要回来。量化切分选整段重写还是只压已经封闭的前缀?尺度一断后面的 token 会漂,怎么避免?这和离线容量规划里在量化、丢历史、换出之间做三选一,差别在哪里?

参考答案​