SentencePiece 和 HuggingFace Tokenizer 的区别?
题目
SentencePiece 和 HuggingFace Tokenizer 的区别?
参考答案
点击展开参考答案
- SentencePiece:Google 出的 tokenizer 库,把空格也当作普通字符处理,不依赖预处理;适合多语言场景;T5/Llama 用的。
- HuggingFace Tokenizers:Rust 写的高性能 tokenizer 库,支持 BPE/WordPiece/Unigram 等;是 HuggingFace 生态的标准。
- 本质:都是实现 BPE/WordPiece 等算法的工具;算法本身没区别,区别在于工程实现和生态。
- 选型:用 HuggingFace 生态就选 HF Tokenizers;多语言/研究项目 SentencePiece 也很常见。
- 追问:为什么 tokenizer 要用 Rust 写?(答:Python 太慢,预处理大规模语料时 tokenize 是瓶颈;Rust 实现快几十倍)