跳到主要内容

硬件一共 32 张卡,短闲聊(200 进 / 200 出)约占 80%,16k RAG 约占 20%。decode 被长 prefill 堵住会抖成什么样、16k KV 跨机拷贝要多少毫秒,估完这两笔再决定分不分池?

Agent 性能优化中级RAG

题目​

硬件一共 32 张卡,短闲聊(200 进 / 200 出)约占 80%,16k RAG 约占 20%。decode 被长 prefill 堵住会抖成什么样、16k KV 跨机拷贝要多少毫秒,估完这两笔再决定分不分池?

参考答案​