跳到主要内容

上下文从 8K 加到 100K 量级时,一套在线 MoE 服务若仍用稠密注意力,先见底的是算力还是 KV 缓存?各层搭配不同压缩方式能缓解哪一头?

模型选型与微调中级上下文

题目​

上下文从 8K 加到 100K 量级时,一套在线 MoE 服务若仍用稠密注意力,先见底的是算力还是 KV 缓存?各层搭配不同压缩方式能缓解哪一头?

参考答案​