翻译到目标侧第 t 步,就 cross-attention 而言,查询读哪边、键值读哪边?源句 K/V 为何只需算一次?若给源序列也套下三角 mask,会破坏什么?
题目
翻译到目标侧第 t 步,就 cross-attention 而言,查询读哪边、键值读哪边?源句 K/V 为何只需算一次?若给源序列也套下三角 mask,会破坏什么?
参考答案
点击展开参考答案
- 第 t 步,Q 来自解码器当前层、长度为 1(当前目标位置)的隐状态;K、V 来自编码器对整句源文的输出,行数等于源长度 S_src,与 t 无关。
- 公式仍是
softmax(QKᵀ/√Dh)V,但分数形状是[1, S_src](训练时是[S_tgt, S_src]),源侧通常不加因果 mask,因为译第 t 个词时整句原文都允许看见。 - 源文在一次编码后不再变,所以源侧 K、V 只算一次,每个解码步复用——这和自注意力 KV 随 t 增长不同。
- 若误给源序列套上因果 mask,后面的源词对前面的目标位置不可见,等于翻译时“后半句原文被挡掉”,对齐会系统性偏前、漏译后半句。
- 自注意力是 Q、K、V 同源;cross attention 是 Q 与 K/V 分属目标/源。
- Encoder-decoder 一层里通常先做目标侧因果自注意力(只能看已生成的译文),再 cross 到编码器记忆。