学得的绝对位置向量已弃用,只靠因果 mask。两条指令互换后,模型还能否可靠察觉谁先谁后?
题目
学得的绝对位置向量已弃用,只靠因果 mask。两条指令互换后,模型还能否可靠察觉谁先谁后?
参考答案
点击展开参考答案
- 能部分感知,但不能当成稳定的位置系统。
- 双向自注意力对置换等变,但因果 mask 让后句看见前句、前句看不见后句,两句对调会改变“谁能读谁”,模型理论上仍有顺序信号。
- 这个信号弱于显式位置:句内词序、绝对第 k 项、长度接近的两条并列指令,都容易糊。
- 生产里选 RoPE 一类相对位置,而不是把绝对 embedding 表拉到更长,是因为相对旋转不随
max_len线性增表,对超出训练长度的外推通常更可控(仍要实测,不是无限外推)。 - 位置信息至少有三条路径:显式绝对表或正弦表加到 embedding 上;RoPE 在 Q/K 上按位置旋转,分数依赖相对位移;ALiBi 等在注意力分数上减距离偏置;另外就是因果三角本身。
- 只留 mask 时,对调两句(内容换位置)会改可见性方向,所以“完全无法区分顺序”不成立;但把一句内部的三个数字打乱、或问“倒数第二个 ID”,mask 提供的全局坐标不够。