Multi-Head Attention 为什么要做多头?头数一般怎么选?
题目
Multi-Head Attention 为什么要做多头?头数一般怎么选?
参考答案
点击展开参考答案
- 多头的作用:将 Q/K/V 投影到多个低维子空间,每个头独立做注意力,再拼接投影回原维度;不同头可以关注不同类型的依赖关系(如语法头、语义头)。
- 计算方式:
MultiHead(Q,K,V) = Concat(head_1, ..., head_h) · W_O,其中head_i = Attention(QW_i^Q, KW_i^K, VW_i^V)。 - 头数选择经验:通常 head_dim = d_model / h 保持在 64~128 之间;如 7B 模型 d_model=4096,头数=32,head_dim=128。头数过多会导致每个头维度太小,表达能力下降。
- 追问:头数和模型参数量的关系?(答:W^Q/W^K/W^V/W^O 四个投影矩阵,参数量 = 4·d_model²,与头数无关,只是拆分方式不同)
- 追问:不同头学到的东西真的不一样吗?(答:有研究表明部分头确实 specialize 在语法/共指等不同任务上,但也有不少头功能冗余)