跳到主要内容

一张卡 KV 已经顶满,另外两张还空着——三张规格相同的 GPU 却被网关按请求个数轮询,因为有的会话拖着 8k 上下文,有的只是问候一句。怎样按飞行中的 token 量、KV 占用水位、以及前缀缓存亲和来选实例,而不是按连接数均分?

Agent 性能优化中级上下文成本

题目​

一张卡 KV 已经顶满,另外两张还空着——三张规格相同的 GPU 却被网关按请求个数轮询,因为有的会话拖着 8k 上下文,有的只是问候一句。怎样按飞行中的 token 量、KV 占用水位、以及前缀缓存亲和来选实例,而不是按连接数均分?

参考答案​