为什么不直接按字/词分词,要用 BPE?
题目
为什么不直接按字/词分词,要用 BPE?
参考答案
点击展开参考答案
- 按词分:词表太大(百万级),稀有词学不好;OOV(未登录词)问题严重。
- 按字分:序列太长(一句话变成几十个字 token),计算效率低;语义信息被拆碎了。
- BPE(Byte Pair Encoding):介于字和词之间——高频词是一个 token,低频词拆成子词组合;兼顾词表大小和序列长度。
- 优势:(a) 词表可控(几万就行);(b) 任何词都能拆成子词表示,没有真正的 OOV;(c) 常见词用单 token 表示,序列不会太长。
- 追问:BPE 的词表一般多大?(答:GPT-2 是 50K,LLaMA 是 32K,GPT-4 据传是 100K+;中文模型一般词表更大,因为中文单字多)