模型选型与微调Attention 为什么要除以 √d_k?本页总览Attention 为什么要除以 √d_k?模型选型与微调中级模型选型与微 题目 Attention 为什么要除以 √d_k? 参考答案 点击展开参考答案 点积方差随 d_k 增大而增大 → softmax 饱和 → 梯度消失;缩放稳定数值。