Agent 性能优化前缀 KV 命中之后,为何逐步吐出的新 token 通常并不会因此更快?本页总览前缀 KV 命中之后,为何逐步吐出的新 token 通常并不会因此更快?Agent 性能优化中级成本 题目 前缀 KV 命中之后,为何逐步吐出的新 token 通常并不会因此更快? 参考答案 点击展开参考答案 命中的前缀 KV 避免重复 prefill;新输出仍须逐步计算。 收益主要来自共享长前缀,输出很长或命中很少时总体收益有限。 命中率要结合省掉的 token 数与预填充耗时解释。