目标词表大约三万时,BPE 的合并次序为何常把高频英文词收成一两段,却把只出现三次的分子式切得很碎?
题目
目标词表大约三万时,BPE 的合并次序为何常把高频英文词收成一两段,却把只出现三次的分子式切得很碎?
参考答案
点击展开参考答案
- BPE 从字符或字节出发,反复把当前语料里出现次数最多的相邻片段合并进词表,直到大约 3 万(或你设定的)词表规模。
- 出现十万次的词,其内部字对会很早被合并,常常收成 1–2 个子词;只出现三次的分子式,字对计数永远排在 “th”“ing” 这类大众对后面,几乎轮不到合并,于是拆得很碎。
- 领域一切换,最先该查的是术语的 fertility(每词 token 数):碎切既浪费窗口,也让模型难以把整个术语当成稳定单元。
- 训练:统计 pair 频次 → 合并第一名 → 更新语料中的相邻关系 → 重复。
- 编码时按学到的合并规则从左到右贪心匹配(实现细节因库而异,但结果由同一套合并表决定)。