长上下文超限时,短期记忆如何压缩?摘要丢失关键信息怎么补?跨块关联怎么保证?
题目
长上下文超限时,短期记忆如何压缩?摘要丢失关键信息怎么补?跨块关联怎么保证?
参考答案
点击展开参考答案
- 先按用途分区预算:系统/安全指令、当前问题、结构化任务状态、工具 Schema、近期原文、历史摘要、RAG 证据和输出余量。
- 达到水位或阶段结束时,不是直接总结整段对话,而是先抽取不可丢字段:目标、约束、数字、日期、否定、实体、权限、已完成/待办、工具回执、冲突和证据 ID;再压缩可丢失的表达与探索过程。
- 采用分层记忆:最近 N 轮保留原文;每个阶段形成不可变摘要;全局维护结构化状态;原消息和大工具结果保存在外部 artifact。
- 摘要中每条关键事实带
source_message_id/tool_call_id,需要时可回读原文。 - 压缩后用规则校验数字、实体和未完成任务,高风险字段可双模型或人工抽检。
- 跨块关联依靠稳定实体 ID、时间线、父子 chunk、文档章节路径和关系边,而不是只靠向量相似度。
- 检索时同时召回实体相关块、相邻块和父块,按子问题组装上下文。