如何设计 KV Cache/Prompt Cache 友好的 Agent 上下文布局?
题目
如何设计 KV Cache/Prompt Cache 友好的 Agent 上下文布局?
参考答案
点击展开参考答案
- 布局应把稳定内容放前面:固定顺序的核心工具 Schema、系统策略和长期不变说明;会话历史与动态任务状态放后面;时间戳、随机 ID 和实时数据不要出现在前缀开头。
- 工具顺序每轮变化、动态增删 Schema 或频繁改写旧摘要都会让缓存从变化点之后失效。
- 大量工具使用稳定的目录/Tool Search,而不是每轮替换整个工具列表;上下文接近阈值时批量 compaction,不要每轮小改前缀;大 observation 外置并保留句柄。
- 监控 cached input tokens、命中率、TTFT 和缓存写入成本。
- 缓存设计不能破坏正确性:安全必需工具不能为保持前缀而隐藏,过时信息不能为命中缓存继续复用。