解码进行到第 t 个位置时,Q、K、V 分别是几行?分数若误用查询与查询的转置相乘,哪些线性层会沦为死权重?
题目
解码进行到第 t 个位置时,Q、K、V 分别是几行?分数若误用查询与查询的转置相乘,哪些线性层会沦为死权重?
参考答案
点击展开参考答案
- 正确 decode 时,当前层 Q 只有 1 行(当前 token),K 和 V 各有 t 行(历史加当前),分别是该层归一化隐状态经
W_Q, W_K, W_V线性变换再按头拆开。 - 分数应为
QKᵀ / √Dh,形状[B, H, 1, t],再对 V 加权。 - 若训练图里误用
QQᵀ当分数且 V 仍来自W_V,则W_K不进入计算图,梯度应接近 0,成为死权重;W_Q会同时充当查询和“伪键”,检索结构被破坏。 - 注意:从零训练时若只是把 K 和 V 的名字对调,那只是重参数化,loss 仍可能下降——所以要用“谁没进点积”而不是“名字接反”来定义这个 bug。
- 形状契约: Q 表达“当前位置要找什么”,K 表达“各历史位置的索引”,V 表达“被聚合的内容”。
1/√Dh用来压点积尺度,避免 softmax 饱和。