推理时 OOM 了,你有哪些优化手段?
题目
推理时 OOM 了,你有哪些优化手段?
参考答案
点击展开参考答案
- 降低模型精度:FP16 → INT8 → INT4,显存直接减半/减到 1/4。
- 减少 KV Cache 占用:用 GQA/MQA 模型;KV Cache 量化到 INT8;减少 max_batch_size;缩短 max_seq_len。
- 减小 batch size:最简单直接,但会降低吞吐。
- 模型并行:多卡张量并行(TP)或流水线并行(PP),把模型切到多张卡上。
- 用更好的推理框架:vLLM/TensorRT-LLM 做 PagedAttention + Continuous Batching,显存利用率高。
- 换小模型:如果 70B 跑不动,考虑 34B 或 13B 模型,效果差距可能不大。
- 追问:7B 模型 FP16 推理大概要多少显存?(答:模型权重 ~14GB;KV Cache 看并发和上下文长度;单请求短上下文 ~16GB 够用,长上下文多并发需要 24GB+)
- 追问:怎么估算推理显存?(答:模型权重 + KV Cache + 激活值 + 框架 overhead;KV Cache 是大头,和并发数×上下文长度成正比)