跳到主要内容

翻译到目标侧第 t 步,就 cross-attention 而言,查询读哪边、键值读哪边?源句 K/V 为何只需算一次?若给源序列也套下三角 mask,会破坏什么?

模型选型与微调中级模型选型与微

题目​

翻译到目标侧第 t 步,就 cross-attention 而言,查询读哪边、键值读哪边?源句 K/V 为何只需算一次?若给源序列也套下三角 mask,会破坏什么?

参考答案​