跳到主要内容

合同长约 20k token,滑动窗口宽度取 4096。第 4 层和第 32 层的理论感受野分别多长,KV 缓存能降到全量的几分之几?

模型选型与微调中级成本

题目​

合同长约 20k token,滑动窗口宽度取 4096。第 4 层和第 32 层的理论感受野分别多长,KV 缓存能降到全量的几分之几?

参考答案​