三个核心评测切片通过率不许下滑,同时下季模型账单要再砍约 40%。裁短上下文、prompt 缓存、语义级缓存、任务分流,你会按什么次序动手,怎样证明生产环境没有悄悄掉质量?
题目
三个核心评测切片通过率不许下滑,同时下季模型账单要再砍约 40%。裁短上下文、prompt 缓存、语义级缓存、任务分流,你会按什么次序动手,怎样证明生产环境没有悄悄掉质量?
参考答案
点击展开参考答案
- 先按任务、模型、输入/输出、缓存命中和重试拆账单,优先砍「付了钱但不影响判决」的输入,而不是先换更便宜的模型。
- 顺序通常是:丢掉检索和对话里用不上的块 → 把稳定系统提示和工具定义放到可前缀缓存的位置 → 对高重复 FAQ 做带租户和版本的语义缓存 → 最后才按复杂度把简单抽取/分类路由到小模型。
- 每一次改动都要在那三个切片上做前后对照,并用线上影子流量看分歧,禁止只盯总价下降。
- 成本要落到请求:例如日均 200 万次调用,均输入 3k、输出 250 token,输出单价往往是输入的数倍(以当时合同为准),但输入总量大,长上下文和重试才是大头。
- 检索若每次塞 20 段×400 token,而引用只用得上 3–4 段,先按重排或分数截到 K=6 就能少掉大约一半输入,质量用「应引用未引用 / 乱引用」衡量,而不是看摘要好不好读。