MPS 把两份 7B 塞进同一块 H100,各自 decode 取 batch=4,耗时相对独享卡翻倍还多。要坐实瓶颈是片上缓存互相踩踏、而不是算力没吃满,L2 命中率、HBM 行打开冲突、上下文切换这三项该怎么读?救法是给 SM 绑定额度、错开发射节奏,还是把副本分到两块加速卡?
题目
MPS 把两份 7B 塞进同一块 H100,各自 decode 取 batch=4,耗时相对独享卡翻倍还多。要坐实瓶颈是片上缓存互相踩踏、而不是算力没吃满,L2 命中率、HBM 行打开冲突、上下文切换这三项该怎么读?救法是给 SM 绑定额度、错开发射节奏,还是把副本分到两块加速卡?
参考答案
点击展开参考答案
- 先排除「两份负载把 Tensor Core 加满」:若 SM 吞吐只有独占时的一半、但两条进程的权重工作集加起来远超片上缓存,这是缓存颠簸。
- 对照独占基线看 L2 命中率是否腰斩、HBM 行打开/冲突计数是否翻倍、以及 MPS 客户端之间的上下文切换是否和 decode 步对齐;三者同时恶化就能定案。
- L2 还能靠绑 SM 配额或错开步频救回一截就先软隔离;两套 7B 权重大小注定每步对打、命中率救不回来,就拆到两张卡。
- MPS 让两个 CUDA 上下文共享一张卡的 SM 和存储层次。
- 7B 级 decode 每步几乎按层扫过自己的全部权重:单份 FP16 大约 14 GB,H100 公开规格里 L2 只有约 50 MB,本来就只能缓冲当前层的 tile,不能缓冲整网。