为什么 GPT-4 的 token 数和字符数不是线性关系?
题目
为什么 GPT-4 的 token 数和字符数不是线性关系?
参考答案
点击展开参考答案
- 因为 token 是子词单位,不是字符单位:常见词是 1 个 token,长词/罕见词拆成多个 token。
- 英文:平均 1 个 token ≈ 4 个字符 ≈ 0.75 个单词。
- 中文:平均 1 个 token ≈ 1~1.5 个汉字(效率比英文低)。
- 不同语言、不同内容的 token/字符比差异很大;不能简单用字符数估算 token 数。
- 追问:怎么精确估算 token 数?(答:用对应的 tokenizer 库(tiktoken、HuggingFace Tokenizers)实际跑一遍;不要凭感觉估)