中文分词在 BPE 下有什么问题?怎么解决?
题目
中文分词在 BPE 下有什么问题?怎么解决?
参考答案
点击展开参考答案
- 问题:(a) 中文单字本身信息量已经很大,BPE 合并后很多词还是 1~2 个字,token 效率不如英文;(b) 中英文混合时,中文 token 数占比高,同样长度的文本中文 token 更多;(c) 很多专业术语会被拆成碎片。
- 解决:(a) 训练时加入大量中文语料,让 BPE 学到更多中文词;(b) 增大词表,让常见词有自己的 token;(c) 专门的中文 tokenizer(如 Qwen、GLM 的中文优化 tokenizer)。
- 影响:中文 token 效率低意味着同样上下文长度能处理的中文内容更少;成本更高。
- 追问:为什么中文 token 效率低?(答:英文空格天然分词,BPE 很容易合并成词;中文没有空格,BPE 要从单字开始合并,很多词就 2~3 个字,合并收益小)