跳到主要内容

绝对位置表在 4k 训、16k 推时会越界。给 Q 和 K 乘上位置相关的旋转之后,点积里还剩下什么位置信息,外推到多长会开始不稳?

模型选型与微调初级模型选型与微

题目​

绝对位置表在 4k 训、16k 推时会越界。给 Q 和 K 乘上位置相关的旋转之后,点积里还剩下什么位置信息,外推到多长会开始不稳?

参考答案​