跳到主要内容

怎样用 Q·K 点积的方差,判断 head 宽度拉到 256(原先 64)后 softmax 塌成 one-hot 时该不该除以 √dₖ?

模型选型与微调中级模型选型与微

题目​

怎样用 Q·K 点积的方差,判断 head 宽度拉到 256(原先 64)后 softmax 塌成 one-hot 时该不该除以 √dₖ?

参考答案​