跳到主要内容

70B 权重量到 INT8 后已经能装进单张 80GB 卡,KV 仍按 BF16 写,剩下的显存只够 8 路满 4k。高峰想把并发提到约 16 路。把 KV 改存 FP8 或 INT8,账面上能多出多少槽位?长上下文精确检索和长链推理哪类先掉点,验收和回滚怎么设?

Agent 性能优化中级上下文RAG规划

题目​

70B 权重量到 INT8 后已经能装进单张 80GB 卡,KV 仍按 BF16 写,剩下的显存只够 8 路满 4k。高峰想把并发提到约 16 路。把 KV 改存 FP8 或 INT8,账面上能多出多少槽位?长上下文精确检索和长链推理哪类先掉点,验收和回滚怎么设?

参考答案​