跳到主要内容

前缀 KV 命中之后,为何逐步吐出的新 token 通常并不会因此更快?

Agent 性能优化中级成本

题目​

前缀 KV 命中之后,为何逐步吐出的新 token 通常并不会因此更快?

参考答案​