上下文频繁超限且答案质量下降,如何优化?
题目
上下文频繁超限且答案质量下降,如何优化?
参考答案
点击展开参考答案
- 先把问题视为 Context Engineering 系统故障,而不是简单“换大窗口模型”。
-
- 定位 Token 来源。
- 按系统指令、Tool Schema、近期消息、历史摘要、任务状态、RAG 证据和 Tool Result 分区记录 Token、命中率和边际贡献;区分单轮突增与随步骤持续增长。
- 结合注意力/消融确认真正有用的信息,避免把“更长”当“更充分”。
- 系统与安全规则保持稳定前缀;当前目标、硬约束、已完成/待办和预算写结构化状态;最近 N 轮保留原文;历史按任务相关性召回;已完成阶段生成不可变摘要。
- 大量工具使用目录 + Tool Search 按需加载,不把全部 Schema 常驻。
- Tool 侧先字段投影、过滤、分页、聚合和 Top-K;原始结果写 Artifact Store,Observation 只放统计、相关片段、来源和 URI。