怎么降低 Prompt 的 token 消耗?
题目
怎么降低 Prompt 的 token 消耗?
参考答案
点击展开参考答案
- 精简 system prompt:去掉冗余描述,只留核心指令。
- 历史摘要:多轮对话时,把早期对话总结成摘要,不要把全部历史都塞进去。
- 缓存前缀:相同的 system prompt + 历史前缀可以做 prompt caching,降低成本。
- 少用 few-shot:示例太多很费 token,能 Zero-shot 就 Zero-shot。
- 用更小的模型处理简单任务:不是所有任务都需要大模型。
- 追问:Prompt Caching 是什么?(答:把重复的前缀 prompt 缓存起来,下次不用重新计算 KV;OpenAI/Anthropic 都支持,缓存部分输入费用打折)