跳到主要内容

KV cache 量化和权重量化相比:各自压缩的是哪部分字节,误差又分别在哪里显现?

Agent 性能优化中级性能优化

题目​

KV cache 量化和权重量化相比:各自压缩的是哪部分字节,误差又分别在哪里显现?

参考答案​