BPE、WordPiece、Unigram LM 的区别?
题目
BPE、WordPiece、Unigram LM 的区别?
参考答案
点击展开参考答案
- BPE:从字符开始,贪心合并最高频的相邻对;GPT/LLaMA 用的。
- WordPiece:和 BPE 类似,但合并标准不是频率,而是最大化似然提升(合并后语言模型概率提升最多的对才合并);BERT 用的。
- Unigram LM:反过来——先从大词表开始,逐步删除对似然贡献最小的子词;可以同时得到多种分词结果(概率加权);T5/ALBERT 用的。
- 共同点:都是子词分词方法,都在"词表大小"和"序列长度"之间做平衡。
- 追问:实际效果差异大吗?(答:不大,三者在主流模型上效果差不多;工程实现细节比算法选择更重要)