跨会话助手月活大约一千万,单轮记忆查找必须落在约 150ms。提示里该给记忆留多少 token、每用户每月要花多少钱?近轮原文、滚动摘要、长期事实怎么分成冷热层,摘要生成走在线还是离线?
题目
跨会话助手月活大约一千万,单轮记忆查找必须落在约 150ms。提示里该给记忆留多少 token、每用户每月要花多少钱?近轮原文、滚动摘要、长期事实怎么分成冷热层,摘要生成走在线还是离线?
参考答案
点击展开参考答案
- 在线路径禁止为了「整理记忆」再跑一次生成模型。
- 热层是会话 KV 里最近十几到几十轮原文,温层是按时间窗滚动的摘要,冷层是带主键的长期事实表加向量;150ms 预算里只做按
user_id预过滤的 KV 读取和 ANN,拼出例如 200–400 token 近轮、300–600 token 现行摘要、200–400 token 相关事实。 - 摘要和事实抽取放在会话空闲后的近线作业,只对超长会话触发。
- 月成本用「检索次数 × 基础设施单价 + 被抽取会话数 × 小模型 token」估算——对千万月活,必须先假定只有一小部分会话够长才值得摘要。
- 规模账(示意,不是某家产品的指标):1000 万月活、日活约 80–120 万、人均每天 8–15 轮要读记忆,则日检索大约 10⁷ 量级;峰均比按 3–5 估,峰值大约每秒数百到一千次,用「按用户分区的 KV + 带元数据过滤的 ANN」可以扛,不必每轮召一次大模型。
- 延迟拆开:鉴权后读热 KV 约 5–15ms,长期事实 ANN 约 30–80ms(必须先滤
user_id,禁止全局 top-k 再丢),拼装约 5–10ms,余量给尾延迟和跨区。