Transformer 编码器和解码器的区别?BERT 和 GPT 分别用哪种?
题目
Transformer 编码器和解码器的区别?BERT 和 GPT 分别用哪种?
参考答案
点击展开参考答案
- 编码器(Encoder):双向注意力,每个位置可以看到左右所有位置;用于理解类任务(分类、NER、嵌入)。代表:BERT。
- 解码器(Decoder):带 causal mask(下三角矩阵),每个位置只能看到自己及左边的位置;用于自回归生成。代表:GPT 系列。
- Encoder-Decoder(原始 Transformer 论文):编码器双向 + 解码器带 mask 并 cross-attend 编码器输出;用于 seq2seq 任务(翻译)。代表:T5、BART。
- 为什么现在主流 LLM 都是 Decoder-only?答:Decoder-only 架构更统一,预训练-微调流程简单,且 scaling law 表现更好;Encoder-Decoder 在长文本生成上效率不如 Decoder-only。
- 追问:Encoder-Decoder 现在还有用武之地吗?(答:翻译、语音识别等严格 seq2seq 场景仍有使用,如 Whisper 就是 encoder-decoder)
- 追问:Decoder-only 做理解任务效果差吗?(答:不差,经过指令微调的 Decoder-only 模型在分类/抽取等任务上完全可以对标 BERT,只是嵌入质量略逊于专门 encoder)