RoPE(旋转位置编码)的数学原理和优势?
题目
RoPE(旋转位置编码)的数学原理和优势?
参考答案
点击展开参考答案
- 核心思想:不对 embedding 直接加位置向量,而是对 Q/K 向量按位置 pos 施加一个二维旋转矩阵,使得 q_pos · k_pos' 的结果只依赖于相对距离 (pos - pos')。
- 数学形式:将 head_dim 维向量两两分组,每对视为复数,乘以旋转因子 e^(-iθ_i·pos),其中 θ_i = 1 / 10000^(2i/d)。
- 优势:(a) 天然的相对位置编码性质;(b) 不需要额外参数;(c) 通过调整 base 频率可以外推到更长上下文(NTK-aware scaling、YaRN 等)。
- 追问:RoPE 外推为什么难?怎么解决?(答:训练时见过的最大位置有限,推理时超出后旋转角度过大,Q·K 点积混乱;解决方法:位置插值(PI)把位置索引压缩、NTK-aware 调整 base 频率、YaRN 分段插值)
- 追问:RoPE 对 GQA 有什么影响?(答:GQA 中 K/V 头少,RoPE 应用在每个 KV 头上,同组 Q 头共享同一组带位置编码的 K/V)