跳到主要内容

窗口从 2k 撑到 8k 之后,注意力层里一次吃完整段提示的计算量和逐步解码时读 KV 的流量大约各乘几倍?优先收缩提示词,还是优先换注意力写法?

模型选型与微调中级模型选型与微

题目​

窗口从 2k 撑到 8k 之后,注意力层里一次吃完整段提示的计算量和逐步解码时读 KV 的流量大约各乘几倍?优先收缩提示词,还是优先换注意力写法?

参考答案​