一张卡 KV 已经顶满,另外两张还空着——三张规格相同的 GPU 却被网关按请求个数轮询,因为有的会话拖着 8k 上下文,有的只是问候一句。怎样按飞行中的 token 量、KV 占用水位、以及前缀缓存亲和来选实例,而不是按连接数均分?
题目
一张卡 KV 已经顶满,另外两张还空着——三张规格相同的 GPU 却被网关按请求个数轮询,因为有的会话拖着 8k 上下文,有的只是问候一句。怎样按飞行中的 token 量、KV 占用水位、以及前缀缓存亲和来选实例,而不是按连接数均分?
参考答案
点击展开参考答案
- LLM 服务稀缺的是 GPU 时间乘以 HBM(尤其是 KV),不是请求个数。
- 按 HTTP 轮询会把偶然到一起的长会话堆在一张卡上,短问候去另外两张。
- 应按副本上报的在途 token、空闲 KV 块和排队来选实例,并把多轮会话或相同系统前缀尽量打到已经有前缀缓存的那张卡。
- 亲和必须是软的:目标卡 KV 满或故障时,宁可 miss 一次缓存,也不要堵死。
- 请求代价 ≈ c1×prefill token + c2×decode token,KV ≈ 每 token 字节 × 在途长度。
- 一次 8k 历史的续写,仅 prefill 就可能是 20 token 问候的数十到上百倍;三路轮询均衡的是到达次数,不是工作量。