TTFT 一夜之间回到冷启动水平。客服机器人把每次都变的 request_id 以及实时时钟写进了系统提示最前面时,怎样还原缓存键是怎么拼的,并重排提示?
题目
TTFT 一夜之间回到冷启动水平。客服机器人把每次都变的 request_id 以及实时时钟写进了系统提示最前面时,怎样还原缓存键是怎么拼的,并重排提示?
参考答案
点击展开参考答案
- 提示缓存命中的是「从序列第 0 个 token 起完全一致的前缀」对应的各层 KV,不是语义相近的句子。
- 把每次都变的 request_id、now() 放在最前面,等于每次换了一把新的前缀键,后面数千 token 的政策与工具 schema 全部重算。
- 把稳定块(系统指令、工具定义、政策全文)顶到最前并保证逐 token 稳定,把时间、请求号、用户问题接到尾部,下一次请求才只 prefill 增量段。
- Prefill 对位置 0…S-1 写出 K、V,形状大约
[layers, H_kv, S, Dh]。 - 服务端通常按固定块(例如 16 或 128 token)做哈希:块 i 的键是「块 0…i 的 token 序列」,靠前任意一处改了,其后所有块失效。