Agent 工程化与运行环境中级工程化与运行
手撕 BPE 分词器核心逻辑
参考答案
点击展开参考答案
- 训练阶段:统计词频 → 初始化字符级 → 合并最高频对 → 重复直到词表大小。
- 编码阶段:按学到的合并规则,把输入词逐对合并。
-
- from collections import Counter
- def train_bpe(texts, vocab_size=1000):
-
初始化:每个词拆成字符 + 结尾符
- 追问:生产级 BPE 和这个简化版差在哪?(答:性能优化(预统计、高效查找)、byte-level 处理、特殊字符、并行化;逻辑是一样的)