Self-Attention 的计算公式是什么?为什么要除以 √d_k?
题目
Self-Attention 的计算公式是什么?为什么要除以 √d_k?
参考答案
点击展开参考答案
- 计算公式:
Attention(Q, K, V) = softmax(QK^T / √d_k) · V,其中 Q、K、V 均由输入 embedding 经线性变换得到。 - 除以 √d_k(缩放因子)的原因:当 d_k 较大时,Q 和 K 的点积结果方差会增大,导致 softmax 进入梯度极小的饱和区;除以 √d_k 将点积方差缩回到 1 附近,保证梯度流动正常。
- 直观理解:√d_k 归一化让不同维度的点积尺度一致,避免某些维度主导注意力权重。
- 追问:如果不除以 √d_k,训练时会出现什么具体问题?(答:softmax 输出趋近 one-hot,梯度趋近零,模型几乎不更新)
- 追问:为什么是 √d_k 而不是 d_k?(答:假设 Q、K 各维度独立同分布均值为 0 方差为 1,点积 Q·K = Σ q_i·k_i 的方差为 d_k,标准差为 √d_k,除以 √d_k 正好归一化到单位方差)