上下文压缩应在什么时候触发?
题目
上下文压缩应在什么时候触发?
参考答案
点击展开参考答案
- 触发条件应组合 Token 水位、预计剩余步骤的累计重读成本、阶段边界、重复 observation、相关性下降和信息密度,而不是固定轮数。
- 压缩需要额外模型调用并可能使 Prompt Cache 失效,因此只有预计未来节省大于压缩与重建成本时才值得执行;大型工具结果可优先外置,只保留引用。
- 压缩前先结构化保存目标、约束、权限、关键事实与数字、未完成任务、决策和证据引用,再摘要可丢失的表达;不要每轮滚动重写。
- 摘要需记录版本、来源和对应 checkpoint,便于回溯。
- 阈值应通过压缩前后的同任务对照确定,验收指标包括成功率、约束与事实保真、Token、延迟和错误恢复,而非只看压缩比。