KV 若用基数树索引,哪些前缀能直接复用树上已有的页?排障 Agent 每个工具步都把工具定义、系统提示以及截至目前的完整轨迹重新喂给模型,到第 12 步时首字延迟已经到秒;如果每步塞进时间戳,或把消息顺序打乱,又会怎样?
题目
KV 若用基数树索引,哪些前缀能直接复用树上已有的页?排障 Agent 每个工具步都把工具定义、系统提示以及截至目前的完整轨迹重新喂给模型,到第 12 步时首字延迟已经到秒;如果每步塞进时间戳,或把消息顺序打乱,又会怎样?
参考答案
点击展开参考答案
- 基数树按 token 序列做前缀索引:从根走到当前请求能重合的那一段,直接复用树上已有的 KV 页,只为分叉之后的新 token 做 prefill。
- 系统提示、工具 schema、少样本和尚未分叉的对话历史通常能命中;一旦插入每步变化的时间戳、请求 ID,或把消息顺序打乱,公共前缀在第一处差异截断,后面整段都要重算。
- 树按最近使用淘汰,显存不够时老前缀会被摘掉,下一步看起来「同一段提示」也会未命中。
- 运行时把正在服务的请求看成树上的路径:新请求从根匹配,命中长度决定少算多少 prefill。
- Agent 第 1 步到第 11 步若只是在末尾追加观察,路径是同一条枝的延伸,第 12 步应只计算新观察对应的 token。