模型选型与微调中级模型选型与微
LLM 响应缓存有哪些类型?
参考答案
点击展开参考答案
-
- 精确缓存:规范化输入、模型、参数、Prompt/工具版本完全匹配。
-
- 语义缓存:语义相近查询复用答案,需要相似度阈值和业务约束。
-
- Prefix/Prompt cache:复用公共前缀的模型侧计算。
-
- 中间结果缓存:查询改写、embedding、检索或工具只读结果。
- 缓存键必须包含租户、权限、知识版本、时效、模型和 Prompt 版本。
- 个性化、实时、高风险或有副作用请求通常不适合语义缓存。
- 缓存命中后仍需做权限和新鲜度检查。