位置编码有哪些主要方式?为什么 Transformer 需要位置编码?
题目
位置编码有哪些主要方式?为什么 Transformer 需要位置编码?
参考答案
点击展开参考答案
- 为什么需要:Self-Attention 本身是排列不变的(permutation invariant),打乱输入顺序结果不变;而语言中语序至关重要,因此必须显式注入位置信息。
- 正弦位置编码(原版 Transformer):
PE(pos, 2i) = sin(pos / 10000^(2i/d_model)),PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model));优点是可外推到更长序列,无需学习。 - 可学习位置编码(BERT/GPT-2):直接训练一个位置 embedding 表,长度上限固定为训练时的最大长度。
- RoPE(旋转位置编码,LLaMA/Qwen 系列采用):通过对 Q/K 施加旋转矩阵来注入位置信息,相对位置编码性质更好,外推能力更强。
- ALiBi:不加位置编码向量,而是在注意力分数上根据距离加惩罚项,外推性极佳。
- 追问:RoPE 为什么比正弦编码效果好?(答:RoPE 编码在 Q·K 点积中天然编码了相对位置关系,即 q_m · k_n 的结果只依赖于 m-n 的相对距离,而不是绝对位置)
- 追问:为什么大模型很少用可学习位置编码了?(答:外推性差,训练时 4k 长度推理时 8k 就崩;RoPE + NTK/插值方案可以较好外推)