跳到主要内容

跨会话助手月活大约一千万,单轮记忆查找必须落在约 150ms。提示里该给记忆留多少 token、每用户每月要花多少钱?近轮原文、滚动摘要、长期事实怎么分成冷热层,摘要生成走在线还是离线?

Agent 工程化与运行环境中级上下文成本

题目​

跨会话助手月活大约一千万,单轮记忆查找必须落在约 150ms。提示里该给记忆留多少 token、每用户每月要花多少钱?近轮原文、滚动摘要、长期事实怎么分成冷热层,摘要生成走在线还是离线?

参考答案​