刚把语义缓存投进线上,用户只动一处修饰语,系统仍吐出七天前那份答复。要把哪些版本维度钉进缓存键?失效规则如何拦住「意思相近但授权集合或事实已过期」的误命中?
题目
刚把语义缓存投进线上,用户只动一处修饰语,系统仍吐出七天前那份答复。要把哪些版本维度钉进缓存键?失效规则如何拦住「意思相近但授权集合或事实已过期」的误命中?
参考答案
点击展开参考答案
- 精确缓存用规范化后的请求指纹;语义缓存只对答案不随限定词抖动的意图开放,例如稳定的产品说明。
- 缓存键必须绑定模型版本、提示与策略版本、检索语料版本、租户与权限集、工具结果版本或时间桶,少绑一维就会串。
- 时间、金额、对象、否定词变化应直接未命中;语料或权限变更要主动失效或缩短存活期。
- 错误复用的代价高于多打一次模型。
- 请求先进入权限上下文和意图分类,再决定走精确键、语义键还是不缓存;回填前再次核对语料版本和访问控制。
- 精确键是规范化文本加上述版本维度的哈希。