绝对位置表在 4k 训、16k 推时会越界。给 Q 和 K 乘上位置相关的旋转之后,点积里还剩下什么位置信息,外推到多长会开始不稳?
题目
绝对位置表在 4k 训、16k 推时会越界。给 Q 和 K 乘上位置相关的旋转之后,点积里还剩下什么位置信息,外推到多长会开始不稳?
参考答案
点击展开参考答案
- 可学习绝对位置是一张最长 L_max 行的表,下标超过 4k 就没有行。
- RoPE 不查这张表,而是把每个头的 Q、K 按二维平面旋转角度 m·θ_i(m 为位置),使得 Q_m·K_n 只依赖相对位移 m−n 和内容,没有“第 16000 行”。
- 相对相位在训练长度内学得稳,直接拉到约 2–4 倍有时还能算;再长则高频维转得过快、远处分数被抹平,通常要做插值或调基础频率,并补一段长上下文训练,不能只靠旋转公式硬推。
- 成对维度上,旋转矩阵满足 R_m⊤R_n = R_{n−m},所以 q⊤R_m⊤R_n k = q⊤R_{n−m}k,绝对下标被消掉。
- 频率常取 θ_i = 10000^{−2i/d}(常见底数,作示意):低频维转得慢、承载长距离,高频维转得快、承载相邻关系。