跳到主要内容

MPS 把两份 7B 塞进同一块 H100,各自 decode 取 batch=4,耗时相对独享卡翻倍还多。要坐实瓶颈是片上缓存互相踩踏、而不是算力没吃满,L2 命中率、HBM 行打开冲突、上下文切换这三项该怎么读?救法是给 SM 绑定额度、错开发射节奏,还是把副本分到两块加速卡?

Agent 性能优化初级上下文

题目​

MPS 把两份 7B 塞进同一块 H100,各自 decode 取 batch=4,耗时相对独享卡翻倍还多。要坐实瓶颈是片上缓存互相踩踏、而不是算力没吃满,L2 命中率、HBM 行打开冲突、上下文切换这三项该怎么读?救法是给 SM 绑定额度、错开发射节奏,还是把副本分到两块加速卡?

参考答案​