跳到主要内容

一张 80GB 卡跑 13B 基座,要同时挂 48 个租户 LoRA,秩从 8 到 64 不等,高峰约 80 路并发。适配器不能全常驻。分页、按秩拼 batch、把适配器折进基座,各自解决什么、何时会把 TTFT 打穿?

Agent 性能优化中级微调

题目​

一张 80GB 卡跑 13B 基座,要同时挂 48 个租户 LoRA,秩从 8 到 64 不等,高峰约 80 路并发。适配器不能全常驻。分页、按秩拼 batch、把适配器折进基座,各自解决什么、何时会把 TTFT 打穿?

参考答案​