70B 权重量到 INT8 后已经能装进单张 80GB 卡,KV 仍按 BF16 写,剩下的显存只够 8 路满 4k。高峰想把并发提到约 16 路。把 KV 改存 FP8 或 INT8,账面上能多出多少槽位?长上下文精确检索和长链推理哪类先掉点,验收和回滚怎么设?
题目
70B 权重量到 INT8 后已经能装进单张 80GB 卡,KV 仍按 BF16 写,剩下的显存只够 8 路满 4k。高峰想把并发提到约 16 路。把 KV 改存 FP8 或 INT8,账面上能多出多少槽位?长上下文精确检索和长链推理哪类先掉点,验收和回滚怎么设?
参考答案
点击展开参考答案
- 先按每 token 字节把 KV 从 2 字节收到 1 字节,常驻大约减半,再扣运行时余量和碎片,8 路满 4k 往往只能再挤出若干路,不要按「正好翻倍到 16」签字。
- 质量上先伤的是要在长窗口里逐字抄条款、对上第 k 项的精确检索;近期逐步的流畅长链通常更耐,但链上要回指早先数字时同样会裂。
- 上线必须按任务切片金丝雀,并允许整副本把 KV 精度拨回 BF16,不要和权重量化绑成一次不可逆发布。
- 示意账(层数、KV 头、头维以你的 70B GQA 为准):每 token KV ≈ 2 × 层 × H_kv × Dh × 元素字节。
- 取 80 层、8 个 KV 头、Dh=128、BF16,约 320KiB/token;8 路 × 4k ≈ 10GiB,再加约 65GiB 的 INT8 权重,单卡已经贴边。