16 条并发、每条 4K 上下文的客服 70B,要压进一张 80 GB 的卡。权重、KV、激活三本账摊开来,怎么论证会不会 OOM?
题目
16 条并发、每条 4K 上下文的客服 70B,要压进一张 80 GB 的卡。权重、KV、激活三本账摊开来,怎么论证会不会 OOM?
参考答案
点击展开参考答案
- 把显存拆成权重、KV cache、激活和运行时余量四笔,缺一笔都不能签字。
- BF16 权重约 140 GB,已经超过 80 GB,结论直接是否。
- 只有把权重量到约 8 bit(约 70 GB)或 4 bit(约 35–40 GB)之后,才进入“KV 还够不够”的阶段。
- 16×4K 的 KV 在常见 70B GQA 上大约 20 GB:INT4 权重时单卡可行,FP8 权重时余量很紧,BF16 必须多卡。
- 权重 ≈ 参数量 × 每参数字节。
- 70B×2 B ≈ 140 GB;×1 B ≈ 70 GB;×0.5 B ≈ 35 GB,加上缩放因子和词表,INT4 按 35–40 GB 估。