Agent 性能优化靠重写来压缩长对话之后,为何前缀缓存的命中率可能反而下降?本页总览靠重写来压缩长对话之后,为何前缀缓存的命中率可能反而下降?Agent 性能优化中级性能优化 题目 靠重写来压缩长对话之后,为何前缀缓存的命中率可能反而下降? 参考答案 点击展开参考答案 前缀缓存复用相同 token 前缀的 KV;重写历史或改变靠前的消息,会使后续前缀不再相同。 压缩节省输入长度,但可能失去已有缓存收益。 比较真实计费 token、prefill 时间和命中率,而非只看压缩后字符数。