BPE 的算法流程是什么?
题目
BPE 的算法流程是什么?
参考答案
点击展开参考答案
- 初始化:把每个词拆成单个字符,词表就是所有字符的集合。
- 统计所有相邻字符对的频率。
- 合并频率最高的字符对,作为一个新的 token 加入词表。
- 重复步骤 2~3,直到达到目标词表大小。
- 编码时:用学到的合并规则,把输入文本逐步合并成 token 序列。
- 解码时:token → 子词拼接 → 还原文本。
- 追问:BPE 是字节级还是字符级?(答:原始 BPE 是字符级;GPT-2 用的是 byte-level BPE——先把文本转成字节,再在字节上做 BPE;这样任何字符都能处理,不会 OOV)
- 追问:BPE 合并规则是训练时定死的吗?(答:是的,训练完合并规则就固定了;推理时只是按规则合并)