聊天高峰把 embedding 打到 OOM。同一组 GPU 同时跑对话服务、embedding、夜间评测三个模型时,如何切显存配额,而不是再采购一排加速卡?
题目
聊天高峰把 embedding 打到 OOM。同一组 GPU 同时跑对话服务、embedding、夜间评测三个模型时,如何切显存配额,而不是再采购一排加速卡?
参考答案
点击展开参考答案
- 先把显存拆成「权重常驻区」和「按请求膨胀的 KV/激活区」,给聊天设硬上限(最大并发序列 × 最大上下文),禁止它的 KV 吃进 embedding 权重必须待着的那一段。
- embedding 和评测不要和聊天共用一块可增长缓存:高峰只保证聊天权重加受配额约束的 KV 常驻,embedding 用独立进程或 MIG 实例拿固定若干 GB,评测错峰加载、用完卸掉。
- OOM 的根因通常不是「卡太少」,而是没有把会膨胀的 KV 和必须钉死的权重隔离开。
- 一张卡上大约是:CUDA 上下文与分配器碎片(常见大约 1–3 GB 量级,视驱动和分配器)+ 各模型权重 + 激活 + KV。
- 7B 级 bf16 权重大约 14 GB,INT8 大约 7 GB;聊天的 KV 才是高峰变量。