Prompt Caching 什么时候有效,什么时候会失效?
题目
Prompt Caching 什么时候有效,什么时候会失效?
参考答案
点击展开参考答案
- Prompt Cache 通常复用相同前缀的模型计算,因此应把稳定的 system prompt、工具定义和公共说明放前面,把用户与运行时变量放后面。
- 任何前缀字节、工具顺序、模型版本或缓存策略变化都可能导致后续部分未命中。
- 它适合长而稳定、被频繁复用的前缀;一次性短请求、每轮都动态改变工具列表或低复用流量收益有限。
- 写缓存可能额外收费或有 TTL,需计算命中次数后的净收益。
- 监控 cache write/read token、命中率、TTFT 和费用,不能只因为“开启了缓存”就假设成本下降。