Agent 用户记忆应该如何分层评估,而不是只测“能否回忆”?
题目
Agent 用户记忆应该如何分层评估,而不是只测“能否回忆”?
参考答案
点击展开参考答案
- 记忆至少评三层:事实提取是否把用户明确陈述写对;检索与时间推理能否在正确会话、scope 和有效期内找回;任务增益是否真的减少追问、提高个性化和任务成功。
- 还要测更新、冲突、遗忘和隐私删除,防止“记得多”成为错误目标。
- 数据集覆盖单跳、多跳、时间顺序、偏好变化、同名实体、对抗写入和跨租户隔离。
- 指标包括写入 precision、召回 Recall@K、冲突处理、过期记忆误用、任务成功增益和错误记忆造成的严重失败。
- 做 memory ablation:同一任务分别无记忆、原始历史、结构化记忆运行,确认增益来自正确记忆而非额外 Token。