怎么估算一段文本的 token 数?为什么要关心这个?
题目
怎么估算一段文本的 token 数?为什么要关心这个?
参考答案
点击展开参考答案
- 估算方法:(a) 英文经验值:1 token ≈ 4 字符 ≈ 0.75 单词;(b) 中文经验值:1 token ≈ 1~1.5 汉字;(c) 精确方法:用 tokenizer 实际编码。
- 为什么关心:(a) 成本——API 按 token 收费;(b) 上下文窗口——不能超过模型最大长度;(c) 性能——prompt 越慢越贵。
- 常见坑:把字符数直接当 token 数(差很多);忘了 system prompt 和输出也算 token;多轮对话历史累积 token 数爆炸。
- 追问:输出也算 token 吗?(答:算,输入和输出都计费;所以生成长答案成本不低)