夜里重做 RAG 那套索引,当时 90% 的 chunk 正文没改。为免去反复跑嵌入前向,同时挡住次日换模型后将旧向量灌入新库,缓存键得写入哪些字段?
题目
夜里重做 RAG 那套索引,当时 90% 的 chunk 正文没改。为免去反复跑嵌入前向,同时挡住次日换模型后将旧向量灌入新库,缓存键得写入哪些字段?
参考答案
点击展开参考答案
- 键必须绑定「规范化后的文本 + 模型标识 + 向量空间版本」(版本里写清维度、是否归一化、指令前缀),值是那条向量。
- 文本没变且模型没变才允许命中;模型名、修订号或前缀一变,键空间整体失效,必须重新推理。
- 缓存省的是 embedding 前向或接口调用,不是近邻查询。
- 它和「相似问句直接复用答案」不是同一层:这里要求规范化后的输入完全同一。
- 夜间重建对每个 chunk 算 key,命中则写入新索引,未命中才打模型并回填。
- 九成命中时,推理成本大约降到原来的一成,墙钟能不能从数小时降到数十分钟,还取决于索引写入速度。