一个同时接待中文、日文、英文的客服台:把原始字符串整段交给 SentencePiece,还是先按空白分词再走 WordPiece?举两个会切坏的例子来定夺。
题目
一个同时接待中文、日文、英文的客服台:把原始字符串整段交给 SentencePiece,还是先按空白分词再走 WordPiece?举两个会切坏的例子来定夺。
参考答案
点击展开参考答案
- 三语客服应优先让 SentencePiece 直接吃不预分词的原始字符串(BPE 或 Unigram 均可),因为中日文词与词之间常常没有空格,先按空格切会把整句中文当成一个“超级词”,后续 WordPiece 只能在句内硬拆或直接爆长度。
- WordPiece 预分词的典型翻车是:
退货政策如下:被当成单 token 块、或英文don't/SKU-123被空格和标点规则切得和训练时不一致。 - SentencePiece 的典型翻车是:语料偏中文时,英文代码和 URL 被切得很碎,p95 token 飙高。
- 我的选择是 SentencePiece,回滚指标是英语/代码工单的 p95 token 和乱切率超过预算就重训或加代码专用正则预切。
- WordPiece 与 BPE 都学子词,但合并更偏向提升语言模型似然;BERT 类编码器常用,续片往往带
##标记,且历史实现依赖“先按空白/标点得到词”。 - SentencePiece 把空格当成普通字符(常显示为
▁),不要求语言有分词器,更适合中日韩。