日均约 80 万次的中→英条款翻译(源和目标都大约 2k token)外加「8k 源文收成约 200 token 摘要」,什么时候该上 encoder-decoder,而不是继续用现成的 decoder-only?输入输出长度比、交叉注意力、推理成本怎么折?
题目
日均约 80 万次的中→英条款翻译(源和目标都大约 2k token)外加「8k 源文收成约 200 token 摘要」,什么时候该上 encoder-decoder,而不是继续用现成的 decoder-only?输入输出长度比、交叉注意力、推理成本怎么折?
参考答案
点击展开参考答案
- 源必须整句双向看见、且目标与源不对齐时,encoder-decoder 更干净:编码器一次双向读源,解码器逐步对源做交叉注意力,源侧 K/V 在 encode 结束就冻结。
- 翻译 2k→2k 两边都长,交叉注意力每步仍是 O(S_源),但不必把源和目标拼成一条因果串去付 (S_源+S_目标)² 的自注意力和双倍 KV。
- 摘要 8k→200 更偏 encoder-decoder:解码很短,贵的是一次双向编码而不是 8k 因果 prefill。
- 已有能用的多语 decoder-only、翻译只是旁路流量时,拼前缀继续用它往往更省运维。
- Decoder-only 把「请翻译:\n源文」整段因果 prefill,源占每一层自注意力 KV,直到目标结束才释放;目标逐步还要读这整段源 KV。
- Encoder-decoder 的源不进解码器自注意力缓存,只进交叉注意力的固定记忆;目标自注意力 KV 只按已生成长度涨。