怎样用 Q·K 点积的方差,判断 head 宽度拉到 256(原先 64)后 softmax 塌成 one-hot 时该不该除以 √dₖ?
题目
怎样用 Q·K 点积的方差,判断 head 宽度拉到 256(原先 64)后 softmax 塌成 one-hot 时该不该除以 √dₖ?
参考答案
点击展开参考答案
- 若各维大致零均值、方差约 1 且近似独立,未缩放点积的方差约为 dₖ:dₖ 从 64 到 256,标准差大约从 8 涨到 16。
- 过大的正负分数会把 softmax 推进饱和区,权重接近 one-hot,对 logits 的梯度接近 0。
- 除以 √dₖ 后方差回到约 1,注意力才停在可训练的斜率上。
- 设 q,k ∈ ℝ^{dₖ},q·k = Σᵢ qᵢkᵢ。
- 独立、零均值、方差为 1 时 Var(q·k)=dₖ,所以除以 √dₖ 是把送进 softmax 的分数标准差拉回常数级。