一张 80GB 卡跑 13B 基座,要同时挂 48 个租户 LoRA,秩从 8 到 64 不等,高峰约 80 路并发。适配器不能全常驻。分页、按秩拼 batch、把适配器折进基座,各自解决什么、何时会把 TTFT 打穿?
题目
一张 80GB 卡跑 13B 基座,要同时挂 48 个租户 LoRA,秩从 8 到 64 不等,高峰约 80 路并发。适配器不能全常驻。分页、按秩拼 batch、把适配器折进基座,各自解决什么、何时会把 TTFT 打穿?
参考答案
点击展开参考答案
- 基座只留一份;每个租户的低秩增量按需装进一小块 HBM 缓存,冷的放主机或本地盘。
- 分页消灭的是「48 份全驻留」;按秩或按插入层把同构请求拼进同一步,消灭的是小核碎片;折进基座只适合独占这张卡的热租户,一次只能物化一份 W′,不能 48 路一起折。
- TTFT 被打穿的典型原因是租户均匀、缓存没有钉住头部、几乎每条请求都要等适配器从主机搬进来。
- 13B bf16 基座大约 26GB,KV 和运行时再吃十几到几十 GB,留给适配器的常驻预算往往只有数 GB。
- 量级示意(按你的挂点实测,不是某张卡的规格):若只挂注意力的 q/v、隐藏宽约 5k、约 40 层,秩 8 的一份附件常常是十几 MB;秩 64 且挂满 q/k/v/o 与门控 FFN 时,一份可以到数百 MB,48 份全常驻就会和 KV 抢坑。