跳到主要内容

一个同时接待中文、日文、英文的客服台:把原始字符串整段交给 SentencePiece,还是先按空白分词再走 WordPiece?举两个会切坏的例子来定夺。

模型选型与微调中级模型选型与微

题目​

一个同时接待中文、日文、英文的客服台:把原始字符串整段交给 SentencePiece,还是先按空白分词再走 WordPiece?举两个会切坏的例子来定夺。

参考答案​