Agent 性能优化 · 题目列表
共 326 题
- Agent 记忆的类型:短期记忆、长期记忆、工作记忆
- 对话上下文窗口管理与压缩策略
- 如何实现 Agent 的持久化记忆(Persistent Memory)?
- 状态管理在 Agent 系统中的设计模式
- 如何实现跨会话的用户偏好学习?
- 长期记忆存储介质选型:向量 / 结构化 / 图谱
- 记忆的遗忘与更新机制:如何处理过时信息?
- Agent 系统的延迟优化:Streaming、缓存、批处理
- KV-Cache 空间复杂度怎么算?
- DeepSpeed 核心特性与架构怎么用?
- Flash Attention 原理怎么理解?
- 显存优化技术原理与对比
- LLM 推理框架综合选型
- 13B模型INT8/INT4量化后多大?
- 超长上下文怎么处理?
- MPS 把两份 7B 塞进同一块 H100,各自 decode 取 batch=4,耗时相对独享卡翻倍还多。要坐实瓶颈是片上缓存互相踩踏、而不是算力没吃满,L2 命中率、HBM 行打开冲突、上下文切换这三项该怎么读?救法是给 SM 绑定额度、错开发射节奏,还是把副本分到两块加速卡?
- 在 TPU Pod 上重做原本跑在 GPU 集群里的 70B 预训练:脉动阵列吃得下的是哪几类层?哪些写法会让 XLA 在编译期直接失败?
- 剖析该先打哪一段:decode 与 prefill 谁先?在报障只写「模型很慢」、流量却是 6000 进、40 出时,两段分别对应使用者能感觉到的哪项指标?
- 调度把连续批的同时在飞上限放到了 64,线上并行着带 logit 偏置的翻译、0.9 温度闲聊和 JSON 贪心约束,每拍能并进同一 GEMM 的活请求大概十几条。怎样按采样与约束是否兼容来划分采样核分组,并在组间拆成多条流水、先统一采样再后处理、承认 64 只是 KV 槽位上限而不是每步一张大矩阵的保证这三条路里取舍?
- SRAM 型 LPU 对比 HBM GPU:客服要单流每秒 200 个 token、抖动压在 5% 以内,你押哪边,落选者卡在哪条屋顶?
- A100 的 80GB 规格、H100、还有 L40S,在同一机房既要扛高 QPS 的 13B 客服、又要偶尔接 70B 深度问答时,该如何混配而不是只采购单一型号?
- 占用率、合并访存、warp 分歧,排查自己写的 RMSNorm 在 CUDA 上比官方库慢三倍时,优先级顺序该怎么排?
- 16 条并发、每条 4K 上下文的客服 70B,要压进一张 80 GB 的卡。权重、KV、激活三本账摊开来,怎么论证会不会 OOM?
- 13B 用 bf16 在 batch=1 下做 decode,面对算力宣传值 300 TFLOPS、片外 HBM 约 1 TB/s(仅作示意)的卡。是否仍落在带宽墙上?算术强度的屋顶线该怎么摊开写明?
- 卡住 prefill 的那道屋顶,为什么常常不是卡住 decode 的那一道?
- 推理服务压测为何不能只报 tokens/s,还要把 goodput 写进结果?
- 一张 80GB 卡跑 13B 基座,要同时挂 48 个租户 LoRA,秩从 8 到 64 不等,高峰约 80 路并发。适配器不能全常驻。分页、按秩拼 batch、把适配器折进基座,各自解决什么、何时会把 TTFT 打穿?
- 实测大约 28 token/s,对照一张卡 HBM 封顶大约 50。70B 正以 2 路张量并行做 decode。如何把 all-reduce 在每一层的 payload 字节与 NVLink 实际吞吐折成第三道封顶,并在降低 TP、通算重叠、承认这个 batch 已碰到通信天花板之间抉择?
- GPU 利用率看着不差,每分钟完成数却远差于压测。怎样确认是最长那条回复把整批钉死?聊天接口用固定 batch,凑满 8 条才一起 decode。改成每个 iteration 准入和退出之后,多出来的吞吐从何处来?
- 闲聊请求的 p99 逐 token 间隔突然出现尖峰——这是把 prefill 可调度预算抬到能整段吞掉 20k RAG 提示之后发生的。原因是什么,块大小该如何往回调?
- 把长输入的 prefill 拆成可调度块后,TTFT 与 ITL 会怎样联动变化?
- 流量没变,显卡监控也几乎一条直线,然而结构化输出约束一打开,p99 便从 800 毫秒窜到 3 秒。主机端每一步建词表掩码花的时间、logit 处理是否在 GPU 上、非法 token 被重新采样的次数——如何靠这三项查清约束带来的额外开销?随后是把 FSM 融进 kernel,还是先生成后校验?
- 输出流不能停,却必须在逐步生成中途把正在飞的 16 路 KV 由 FP16 改写成 FP8,好把并发槽位要回来。量化切分选整段重写还是只压已经封闭的前缀?尺度一断后面的 token 会漂,怎么避免?这和离线容量规划里在量化、丢历史、换出之间做三选一,差别在哪里?
- 硬件一共 32 张卡,短闲聊(200 进 / 200 出)约占 80%,16k RAG 约占 20%。decode 被长 prefill 堵住会抖成什么样、16k KV 跨机拷贝要多少毫秒,估完这两笔再决定分不分池?
- 拆开 prefill 与 decode 之后,什么流量或互联条件下反而慢过混部在一起?
- 白天对话服务的 SLO 一点都不能让,而夜间那一万份摘要得在早上六点以前交差。可延期的时间窗口加上过往实测的 tokens/s,怎样拿来倒推夜班最晚几点开跑、要预留多少 GPU 小时,而不是另起一套对话优先、批量降级的排队规则?
- 两个字被收回,是因为投机草稿还没被目标模型核过就被送到了前端浏览器。吐出边界该改成只放出已被接受的前缀,还是先攒着再一次性刷出?缓冲又会让用户感知的 TPOT 变差多少?前提是不调草稿长度、也不关闭投机。
- 不另训草稿,用当前已生成后缀 n-gram 去提示和前文里做字符串匹配,把命中处后面的片段交给目标模型验证。代码助手八成流量是根据 diff 改文件、闲聊几乎没有时,一天日志该如何用来选定 n、草稿长度,以及默认关掉哪类请求?
- 有人想把若干轻量解码头接到最后隐状态上并行猜后面的 token,再靠候选树一次前向验证,因为 70B 已经把加速卡吃满、运维不同意再驻留一份 7B 草稿。各头接受率随位置怎么掉、部署成本和独立草稿模型怎么比?
- 连续批处理想捕获图,但活序列条数和各序列页表长短每步都在变。可变页表怎样从静态 CUDA graph 里拆出去——用设备侧间接块表、按活序列数和页数分档做 padding、再准备一池预捕获图——才能既留下分页带来的并发,又不用每步重录图?
- TTFT 一夜之间回到冷启动水平。客服机器人把每次都变的 request_id 以及实时时钟写进了系统提示最前面时,怎样还原缓存键是怎么拼的,并重排提示?
- 一份大约八十页的合同被上传进来,任务是圈出其中所有会到期自动续签的条款。把全文一次塞满上下文,和先召回相关段落再细读,两条路在 token 开销与尾部时延上各输在哪里?线上又如何分配流量?
- 靠重写来压缩长对话之后,为何前缀缓存的命中率可能反而下降?
- 前缀 KV 命中之后,为何逐步吐出的新 token 通常并不会因此更快?
- 逻辑序列被 PagedAttention 映到不连续的物理块上之后,是不是所有形式的 KV 浪费都没了?
- 投机采样如何让最终 token 服从目标侧分布,而不是草稿看起来过了关?
- 你主张用最后一层特征训一层草稿网络、自回归预估下一拍隐状态再复用原 LM head,同事却觉得再挂几个解码头就够。哪些观测能证明,相比各头互不依赖,这样更划得来那几步串行开销?
- 投机解码一次向前看多长,该依据哪些观测来定?
- 离线选择题分数差不多,可一要求把召回段落里的条款号逐字抄出来,INT4 包就开始瞎编编号。同一套 7B 分别打成 FP16 的服务端构建和 INT4 的端侧包时,半精度浮点(BF16 或 FP16)和整数量化(INT8 或 INT4)破坏的误差类型为何不是同一类,该拿哪类评测来决定哪些层保持更高位宽?
- KV cache 量化和权重量化相比:各自压缩的是哪部分字节,误差又分别在哪里显现?
- 70B 权重量到 INT8 后已经能装进单张 80GB 卡,KV 仍按 BF16 写,剩下的显存只够 8 路满 4k。高峰想把并发提到约 16 路。把 KV 改存 FP8 或 INT8,账面上能多出多少槽位?长上下文精确检索和长链推理哪类先掉点,验收和回滚怎么设?
- 可 mmap、张量允许混精度的 GGUF 单文件是一侧,分片权重外加独立分词器和对话模板是另一侧;这套 7B 要当笔记本本地助手。冷启动时间、多进程只读共享、量化元数据分别绑在哪一层,什么情况下值得压成单文件?
- 数学题和工具 JSON 成批坏掉,闲聊分却几乎不动——权重量到了 INT4。该把敏感层拉回更高精度、扩充校准集,还是把这类请求从 4bit 副本上拿掉?
- 7B 聊天模型要靠训练后量化上到 4 bit 生产——不许重训、窗口只有一周。做得到吗?若再压到 2 bit,哪一类能力会先裂?
- 部署 70B 模型:4 张卡把每一层张量切开并行,对比起 4 个完整副本,首 token 延迟谁更低,整个集群的吞吐又是谁更高?
- 单卡工作集在 70B 压到 INT4 之后仍然装不下。什么时候才必须跨卡切开模型,而不是再压精度或换更小的网?
- 金丝雀和回放门禁要同时盯住可持续吞吐、KV 与工作区显存、TTFT 分位、以及 temperature=0 下同提示的 token 序列,该怎么设?推理引擎小版本升级、发行说明里连分页 KV 块尺寸和调度默认值一并改了时,贪心输出对不上逐字,凭什么区分数值抖动与真回归并决定整包回不回滚?
- 权重不再在运行时拼算子,改为先编出发射引擎再接流量;换一款架构不同的 NVIDIA 加速卡就得重编。编译步骤究竟把什么冻在「这张卡、这一代 Tensor Core」上,为何编好的引擎不能当普通权重检查点来拷贝?
- 谁管拉模型、谁管配方文件、谁管聊天模板、谁管真正的矩阵乘?内网二十人要一条命令切换模型、并以兼容 HTTP 口调调用时,这层本地运行时碰到多大并发就该把位置让给专用服务引擎?
- 聊天高峰把 embedding 打到 OOM。同一组 GPU 同时跑对话服务、embedding、夜间评测三个模型时,如何切显存配额,而不是再采购一排加速卡?
- KV 若用基数树索引,哪些前缀能直接复用树上已有的页?排障 Agent 每个工具步都把工具定义、系统提示以及截至目前的完整轨迹重新喂给模型,到第 12 步时首字延迟已经到秒;如果每步塞进时间戳,或把消息顺序打乱,又会怎样?
- 四成流量是一次性、几乎不共享前缀的长摘要,六成是共用大约 4k 稳定系统前缀的多步 Agent。面对 TensorRT-LLM、vLLM 与 SGLang,该按哪些负载特征来设计实验,而不是看仓库星数?
- 怎样用参数量和位宽说明 16GB 笔记本根本塞不进名义上 70B 的开源 checkpoint,并讲普通硬件上的推理引擎如何靠量化与 mmap 把真正能跑的那一档拉起来?
- 发热墙大约 3 瓦、可用内存大约 6 GB,上云只有弱网,还要改写短信并总结通知。怎样在上下文窗、模型体积、以及 NPU 覆盖不足时回退 CPU 之间做取舍,从而既不把全精度 7B 硬塞进手机,也不把请求全部打回云端?
- 为何不能让聊天推流和凌晨合同审查共用同一条同步的、长寿命 HTTP 连接?这套集群一边给在线聊天做推流,一边要在黎明前消化一万份合同审查。异步通道还要补上哪些状态?
- 客户端取消后,怎样证明引擎停调度并且该请求的 KV 已交还?
- 工具调用的 JSON 还没写完,用户却点了停止,而客服页正在边出字边渲染。哪些增量能马上画到屏幕,哪些必须等完整一帧,取消又如何到达推理引擎?
- 晚高峰队列先爆、新副本随后空转,扩缩容却仍在 GPU 利用率超过 70% 时加机器。新副本就绪要 40~90 秒才能吃到首个 7B 请求。触发信号和预热池该怎么动,使得按队列与 SLO 扩出,并只在持续低负载后才缩回?
- 新版本提前写入、旧版本只读到切换瞬间,失效回填还要限速扇出——整点政策一翻,大约 40% FAQ 键一起失效,70B prefill 被打满。这套双缓冲预热该怎么落地,才不会把上周政策继续当正确答案,也不会把整点打成一次全量冷启动?
- 关键词规则会漏检;「取消订单」和「取消订阅」又会被 embedding 近邻打进同一条流水线。同一网关后挂着廉价分类器、昂贵推理模型以及必须转给人工的高风险路径时,路由器如何同时压住误路由和成本?
- 中文流偶尔冒出 U+FFFD,浏览器又憋到全文结束才渲染,尽管 decode 早已开始。从每个 token 产生到像素上屏,缓冲发生在哪一跳?跨 token 边界的多字节字符应当攒到什么粒度再下发?
- 默认把流量送到 8B,怎样避免合同审查被静默分流到小模型?网关后同时挂着 8B 与 70B 时,这和副本间负载均衡的差别在哪?
- 一张卡 KV 已经顶满,另外两张还空着——三张规格相同的 GPU 却被网关按请求个数轮询,因为有的会话拖着 8k 上下文,有的只是问候一句。怎样按飞行中的 token 量、KV 占用水位、以及前缀缓存亲和来选实例,而不是按连接数均分?
- 一次 registry 拉取要 40 s,13B 早高峰前要从 2 扩到 12。节点本地命中、机房二次分发、运行时层与权重层分离的增量层该怎么铺,分段计时又如何证明冷启动瓶颈已经从拉权重挪到把权重装进 GPU,且扩缩触发器仍走原曲线、首 token 仍要落进 2 秒?
- 监控里流处理器的占用才 30%,可对话的长尾时延已经由 800 毫秒拉高到 4 秒。量化先别碰,排队等待、prefill、逐步 decode、显存抖动这几段,你会依怎样的顺序逐一拆开排查?
- 在线 13B 聊天约 80% 请求输入 ≤512 token,约 20% 是 8k 级 RAG。全局 TTFT p99 写成 800ms 之后,长提示把告警打满,短请求真变慢时值班看不见。TTFT / TPOT 按输入长度分桶,错误预算和燃烧率告警该怎么设?
- 如何设计 AI 应用全链路压测?
- TTFT、P99、吞吐量分别说明什么?
- 如何定位 Agent 链路性能瓶颈?
- 如何做限流和背压?
- 熔断器如何设计?
- 为什么重试可能让系统更不稳定?
- 如何做容量规划?
- 如何保障流式连接下的稳定性?
- 为什么需要量化?INT8 和 FP16 的区别?
- GPTQ 和 AWQ 的区别?
- vLLM 的 PagedAttention 解决了什么问题?
- 推理时 OOM 了,你有哪些优化手段?
- Continuous Batching 是什么?和 Static Batching 的区别?
- 首 token 延迟(TTFT)和吞吐量怎么优化?
- Speculative Decoding 的原理是什么?
- 部署 70B 模型,显存不够,你会怎么选型和部署?
- MoE 模型推理有什么特殊挑战?
- 怎么选推理框架?vLLM / TensorRT-LLM / Ollama 各适合什么场景?
- 短期记忆和长期记忆怎么实现、怎么区分?
- 长期记忆和 RAG 有什么区别?
- 记忆模块选什么数据库,依据是什么?
- 记忆如何召回?怎么避免不同问题召回的记忆互相污染?
- 在 Agent 项目中怎么设计上下文管理机制?
- 上下文压缩放在链路哪一步?先压缩再向量化还是反过来?
- 长对话怎么处理?滑动窗口 + 摘要具体怎么落地?
- 快到窗口阈值时,怎么避免一次性大段压缩打断用户体验?
- 工具调用结果怎么压缩?原地还是交给另一个模型?
- 除了压缩,还有哪些规避窗口限制的方案?
- 多轮长任务怎么避免「目标迷失」?
- 怎么区分上下文污染和工具污染?什么时候该新开 session?
- 如何保证压缩不丢关键内容?失真怎么缓解?
- 长期运行 Agent 面对数月历史,记忆怎么持续优化?
- 记忆有没有量化指标?怎么评测贡献?
- 用户要求删除记忆,系统要怎么支持?
- 短期与长期记忆怎么实现、怎么区分
- 记忆整体怎么设计,选什么数据库
- 长期记忆和 RAG 有什么区别
- 记忆怎么召回,如何避免相互污染
- 上下文管理机制怎么设计
- 上下文工程涵盖哪些环节,最重要是哪一环
- 压缩放在链路哪一步?先压缩还是先向量化
- 长对话怎么处理,滑动窗口+摘要落地
- 工具结果怎么压缩,原地还是另一个模型
- 为什么上下文越长效果越不稳定
- 临近阈值怎么避免大段压缩打断体验
- 除压缩外还有哪些规避窗口限制的方案
- 多轮长任务怎么避免目标迷失
- 怎么区分上下文污染和工具污染,何时新开 session
- 数月历史怎么持续优化记忆
- 记忆有没有量化指标
- 哪些数据需要写入记忆
- 怎么保证压缩不丢关键内容
- 用户要求删除记忆怎么办
- 上下文是怎么构建的?怎么避免上下文过长或者信息污染?(百度Agent)
- 动态Prompt和静态Prompt有什么区别?上下文是如何动态组装的?
- 上下文窗口总Token是多少?压缩机制
- 长对话+大量检索文档,上下文过长送入模型出现超时、回答冗余,怎么优化处理(Agent中级)
- 如果上下文窗口不够,优先保留哪些信息?为什么?(百度Agent)
- Token成本怎么控制?
- 为什么不能把所有聊天记录直接放进Prompt?
- 静态知识如何进行权限隔离?
- 如何保证压缩后信息不丢失?
- 如何处理已经失效的用户信息?
- Top-K参数应该如何设置?
- 向量检索为什么会产生误召回?
- 什么是Context Pollution?
- 上下文污染会导致哪些问题?
- 如何控制Prompt长度?
- Token Budget应该如何分配?
- Context Compression有哪些实现方式?
- Retrieval Pipeline应该如何设计?
- 如何避免 Prompt 过长导致性能下降?
- 上下文窗口不足时如何选择保留哪些内容?
- 多轮会话摘要如何设计?
- 为什么上下文窗口越大不一定效果越好?
- Lost in the Middle 问题是什么?
- 如何设计 Context Ranking 机制?
- Agent 如何进行 Token Budget 分配?
- Tool 调用结果如何压缩?
- 上下文组装服务应该独立成微服务吗?
- Prompt Builder 模块应该如何设计?
- 动态 Prompt 组装链路如何进行性能优化?
- 如何统计每轮请求的 Token 消耗?
- 企业级 Agent 如何控制 Token 成本?
- 如何控制Context Window和Token成本?
- 长对话场景如何进行上下文压缩?
- Token消耗主要集中在哪些部分?
- Agent系统中哪些内容最占上下文窗口?
- 如果上下文窗口不足,应该优先保留哪些信息?
- Prompt长度增加为什么会导致成本上升?
- Tool Result 应该如何组织到 Prompt 中?
- ReAct Agent 的 Prompt 是如何动态变化的?
- 如何控制 Prompt Token 成本?
- Context Compression 如何实现?
- 如何识别用户偏好类信息?
- 企业级 Agent 的 Prompt 分层应该如何设计?
- System Prompt 和 Skill Prompt 的职责边界是什么?
- Prompt 模板如何进行版本管理?
- 如何衡量上下文质量而不是上下文长度?
- MCP Tool 返回超长结果如何处理?
- 如何监控和评估 Prompt 的效果?
- 模型如何区分工具返回结果和用户输入?
- 哪些反思结果值得沉淀为Skill?
- Top-K应该如何确定?
- Prompt Injection 攻击如何防御?
- Agent如何避免上下文污染?
- Function Calling的参数最终如何进入模型?
- 多源信息融合时,知识库、API和用户历史信息冲突怎么办?
- 如何避免知识污染?
- 双路召回架构应该如何设计?
- 向量检索和关键词检索如何结合?
- Skill 匹配是在 Prompt 组装之前还是之后?
- 长短期记忆是怎么设计的?短期记忆和长期记忆分别保存什么?
- Agent为什么必须设计记忆模块,短期对话记忆、长期持久记忆分别怎么落地,各自解决什么业务痛点(Agent中级)
- 分层记忆完整体系:瞬时上下文记忆、短期会话记忆、长期持久记忆、知识库外部记忆四层设计;记忆自动压缩、过期清理、重要信息持久留存策略(Agent高级)
- 为什么要把长期记忆分成静态长期记忆和动态长期记忆?
- 每一轮对话都触发长期记忆存储,会不会导致记忆膨胀?以后怎么处理?
- 大模型如何判断哪些长期记忆需要召回?如何避免召回太多导致上下文污染?
- 长短期记忆如何设计提取、压缩和冲突更新机制?
- 多轮对话优化:多轮对话不断累积历史消息,上下文过长、Token消耗过高该怎么优化(Agent初级)
- 为什么要区分短期 Memory 和长期 Memory?
- Memory 如何更新?
- Memory 如何压缩?
- Memory 如何检索?
- 反思结果如何存储到长期记忆?
- 如何避免错误经验被写入长期记忆?
- 短期记忆和上下文窗口是什么关系?
- 长期记忆为什么要使用向量数据库?
- Agent为什么需要分层记忆体系?
- 工作记忆、短期记忆和长期记忆有什么区别?
- Memory Service应该独立部署吗?
- 长期记忆如何存储、召回和更新?
- 记忆层如何避免信息污染?
- 如何设计记忆检索机制?
- 什么信息应该进入长期记忆?
- 什么信息不应该被长期保存?
- Skill和Memory有什么区别?
- Agent如何自动沉淀长期记忆?
- 记忆压缩(Memory Compression)如何实现?
- 如何设计遗忘机制(Forgetting Mechanism)?
- Agent 的短期记忆和长期记忆如何协同工作?
- Episodic Memory 和 Semantic Memory 有什么区别?
- 长期记忆如何避免无限增长?
- Agent 如何判断哪些内容值得写入长期记忆?
- Memory Compression 应该如何设计?
- Memory Summary 和原始记忆如何关联?
- 动态长期记忆的存储结构应该如何设计?
- 动态记忆如何进行过期清理?
- Agent Reflection 结果是否应该进入长期记忆?
- 动态记忆如何避免错误经验累积?
- Skill 是否属于静态长期记忆?
- 静态记忆和动态记忆如何联合检索?
- 如何解决不同记忆来源之间的冲突?
- Memory Rerank 应该基于哪些特征?
- 记忆检索延迟过高如何优化?
- 企业级 Agent 的 Memory Service 应该如何设计?
- 多 Agent 如何共享长期记忆?
- 如何实现 Memory 的高可用和容灾?
- 如何保证长期记忆的数据安全和合规性?
- Agent 的记忆系统如何进行监控和审计?
- MCP、RAG、Memory 三者在 Agent 架构中的职责边界是什么?
- 如何判断一条信息是否值得进入长期记忆?
- Memory Scoring应该如何设计?
- 长期记忆写入是同步还是异步?
- 如何避免重复记忆不断写入?
- Memory Compression具体如何实现?
- 长对话如何自动生成摘要记忆?
- 什么时候触发记忆压缩?
- 项目级记忆如何聚合?
- Agent为什么需要遗忘机制?
- 时间衰减策略如何设计?
- 什么情况下应该删除记忆?
- 遗忘和归档有什么区别?
- 长期记忆规模达到百万级如何检索?
- 如何避免召回无关记忆?
- Memory Re-ranking如何设计?
- 企业Agent长期运行几年后如何管理海量记忆?
- 多租户环境下如何隔离记忆数据?
- 长期记忆存储成本如何优化?
- 如何保证记忆系统的高可用性?
- 如何评估长期记忆系统的效果和ROI?
- Agent 长期记忆为什么需要向量数据库?
- 长期记忆库数据越来越大怎么办?
- Memory Retrieval 如何避免上下文污染?
- Agent 如何判断召回哪些记忆?
- 长期记忆是否需要定期归档和压缩?
- 长期记忆和动态上下文有什么区别?
- 记忆召回策略如何设计?
- 如何避免无关记忆污染当前任务?
- 记忆如何进行生命周期管理?
- 用户画像信息应该如何注入 Prompt?
- 长期记忆和上下文窗口是什么关系?
- 什么内容应该进入长期记忆?
- 长期记忆召回后如何避免污染上下文?
- Memory Summarization 如何设计?
- Memory Consolidation 如何实现?
- 长期记忆是否需要版本管理?
- 长期记忆如何进行召回?
- 如何保证召回记忆的准确性?
- Memory Recall的Top-K如何确定?
- 如何解决记忆召回噪声问题?
- Memory Re-ranking如何实现?
- 长期记忆的数据结构如何设计?
- Redis、MySQL、向量数据库分别存储什么?
- Memory系统如何支持海量用户?
- 多Agent之间如何共享记忆?
- Memory检索延迟如何优化?
- 长期记忆如何做权限隔离和安全控制?
- Claude、ChatGPT等Agent的记忆体系可能如何设计?
- MCP与Memory系统如何结合?
- Multi-Agent场景下记忆如何同步?
- Agent是否能够形成真正的"经验学习"?
- 如何设计企业级可持续增长的记忆体系?
- Memory、Knowledge、Skill三者之间的关系是什么?
- 长期记忆应该存储哪些内容,不应该存储哪些内容?
- 静态长期记忆和动态长期记忆如何划分?
- 长期记忆的数据模型应该如何设计?
- 长期记忆如何进行增删改查?
- 长期记忆如何实现自动遗忘机制?
- Memory Graph和向量记忆有什么区别?
- 用户画像记忆应该如何维护?
- 如何提升长期记忆召回准确率?
- Query Rewrite在记忆召回中的作用是什么?
- 如何评估记忆召回效果?
- 长上下文模型是否还需要记忆检索?
- Summary Memory如何设计?
- Agent如何决定什么时候检索记忆?
- 多Agent之间如何共享长期记忆?
- Agent执行过程中如何动态追加记忆?
- 记忆召回失败时如何降级处理?
- 企业知识库与长期记忆有什么区别?
- 如何防止不同用户之间的记忆串扰?
- 长期记忆如何实现权限隔离?
- 百万级记忆数据如何进行检索优化?
- Memory系统如何监控和评估?
- 长期记忆带来的成本如何控制?
- 如何评估长期记忆对任务成功率的提升?
- Context Engineering 和 Prompt Engineering 有什么区别?
- 长对话场景如何避免上下文丢失?
- 长上下文模型会出现哪些注意力衰减问题?
- Context Pollution 是如何产生的?
- 如果上下文窗口无限大,还需要记忆系统吗?
- 多轮对话历史为什么会影响当前回答?
- 介绍一下Harness Engineering(上下文工程)(附加专题)
- 如何理解Agent中的状态和上下文?
- 如何实现跨会话任务状态恢复?
- 如何实现任务执行过程中的状态快照?
- Planner 如何决定保留哪些上下文?
- 多 Agent 协作时上下文如何共享?
- 多 Agent 系统中 Prompt 如何共享和传递?