Agent 性能优化 · 题目列表
Agent 记忆的类型:短期记忆、长期记忆、工作记忆
Agent 性能优化
对话上下文窗口管理与压缩策略
Agent 性能优化
如何实现 Agent 的持久化记忆(Persistent Memory)?
Agent 性能优化
状态管理在 Agent 系统中的设计模式
Agent 性能优化
如何实现跨会话的用户偏好学习?
Agent 性能优化
长期记忆存储介质选型:向量 / 结构化 / 图谱
Agent 性能优化
记忆的遗忘与更新机制:如何处理过时信息?
Agent 性能优化
Agent 系统的延迟优化:Streaming、缓存、批处理
Agent 性能优化
KV-Cache 空间复杂度怎么算?
Agent 性能优化
DeepSpeed 核心特性与架构怎么用?
Agent 性能优化
Flash Attention 原理怎么理解?
Agent 性能优化
显存优化技术原理与对比
Agent 性能优化
LLM 推理框架综合选型
Agent 性能优化
13B模型INT8/INT4量化后多大?
Agent 性能优化
超长上下文怎么处理?
Agent 性能优化
MPS 把两份 7B 塞进同一块 H100,各自 decode 取 batch=4,耗时相对独享卡翻倍还多。要坐实瓶颈是片上缓存互相踩踏、而不是算力没吃满,L2 命中率、HBM 行打开冲突、上下文切换这三项该怎么读?救法是给 SM 绑定额度、错开发射节奏,还是把副本分到两块加速卡?
Agent 性能优化
在 TPU Pod 上重做原本跑在 GPU 集群里的 70B 预训练:脉动阵列吃得下的是哪几类层?哪些写法会让 XLA 在编译期直接失败?
Agent 性能优化
剖析该先打哪一段:decode 与 prefill 谁先?在报障只写「模型很慢」、流量却是 6000 进、40 出时,两段分别对应使用者能感觉到的哪项指标?
Agent 性能优化
调度把连续批的同时在飞上限放到了 64,线上并行着带 logit 偏置的翻译、0.9 温度闲聊和 JSON 贪心约束,每拍能并进同一 GEMM 的活请求大概十几条。怎样按采样与约束是否兼容来划分采样核分组,并在组间拆成多条流水、先统一采样再后处理、承认 64 只是 KV 槽位上限而不是每步一张大矩阵的保证这三条路里取舍?
Agent 性能优化
SRAM 型 LPU 对比 HBM GPU:客服要单流每秒 200 个 token、抖动压在 5% 以内,你押哪边,落选者卡在哪条屋顶?
Agent 性能优化
A100 的 80GB 规格、H100、还有 L40S,在同一机房既要扛高 QPS 的 13B 客服、又要偶尔接 70B 深度问答时,该如何混配而不是只采购单一型号?
Agent 性能优化
占用率、合并访存、warp 分歧,排查自己写的 RMSNorm 在 CUDA 上比官方库慢三倍时,优先级顺序该怎么排?
Agent 性能优化
16 条并发、每条 4K 上下文的客服 70B,要压进一张 80 GB 的卡。权重、KV、激活三本账摊开来,怎么论证会不会 OOM?
Agent 性能优化
13B 用 bf16 在 batch=1 下做 decode,面对算力宣传值 300 TFLOPS、片外 HBM 约 1 TB/s(仅作示意)的卡。是否仍落在带宽墙上?算术强度的屋顶线该怎么摊开写明?
Agent 性能优化
卡住 prefill 的那道屋顶,为什么常常不是卡住 decode 的那一道?
Agent 性能优化
推理服务压测为何不能只报 tokens/s,还要把 goodput 写进结果?
Agent 性能优化
一张 80GB 卡跑 13B 基座,要同时挂 48 个租户 LoRA,秩从 8 到 64 不等,高峰约 80 路并发。适配器不能全常驻。分页、按秩拼 batch、把适配器折进基座,各自解决什么、何时会把 TTFT 打穿?
Agent 性能优化
实测大约 28 token/s,对照一张卡 HBM 封顶大约 50。70B 正以 2 路张量并行做 decode。如何把 all-reduce 在每一层的 payload 字节与 NVLink 实际吞吐折成第三道封顶,并在降低 TP、通算重叠、承认这个 batch 已碰到通信天花板之间抉择?
Agent 性能优化
GPU 利用率看着不差,每分钟完成数却远差于压测。怎样确认是最长那条回复把整批钉死?聊天接口用固定 batch,凑满 8 条才一起 decode。改成每个 iteration 准入和退出之后,多出来的吞吐从何处来?
Agent 性能优化
闲聊请求的 p99 逐 token 间隔突然出现尖峰——这是把 prefill 可调度预算抬到能整段吞掉 20k RAG 提示之后发生的。原因是什么,块大小该如何往回调?
Agent 性能优化
把长输入的 prefill 拆成可调度块后,TTFT 与 ITL 会怎样联动变化?
Agent 性能优化
流量没变,显卡监控也几乎一条直线,然而结构化输出约束一打开,p99 便从 800 毫秒窜到 3 秒。主机端每一步建词表掩码花的时间、logit 处理是否在 GPU 上、非法 token 被重新采样的次数——如何靠这三项查清约束带来的额外开销?随后是把 FSM 融进 kernel,还是先生成后校验?
Agent 性能优化
输出流不能停,却必须在逐步生成中途把正在飞的 16 路 KV 由 FP16 改写成 FP8,好把并发槽位要回来。量化切分选整段重写还是只压已经封闭的前缀?尺度一断后面的 token 会漂,怎么避免?这和离线容量规划里在量化、丢历史、换出之间做三选一,差别在哪里?
Agent 性能优化
硬件一共 32 张卡,短闲聊(200 进 / 200 出)约占 80%,16k RAG 约占 20%。decode 被长 prefill 堵住会抖成什么样、16k KV 跨机拷贝要多少毫秒,估完这两笔再决定分不分池?
Agent 性能优化
拆开 prefill 与 decode 之后,什么流量或互联条件下反而慢过混部在一起?
Agent 性能优化
白天对话服务的 SLO 一点都不能让,而夜间那一万份摘要得在早上六点以前交差。可延期的时间窗口加上过往实测的 tokens/s,怎样拿来倒推夜班最晚几点开跑、要预留多少 GPU 小时,而不是另起一套对话优先、批量降级的排队规则?
Agent 性能优化
两个字被收回,是因为投机草稿还没被目标模型核过就被送到了前端浏览器。吐出边界该改成只放出已被接受的前缀,还是先攒着再一次性刷出?缓冲又会让用户感知的 TPOT 变差多少?前提是不调草稿长度、也不关闭投机。
Agent 性能优化
不另训草稿,用当前已生成后缀 n-gram 去提示和前文里做字符串匹配,把命中处后面的片段交给目标模型验证。代码助手八成流量是根据 diff 改文件、闲聊几乎没有时,一天日志该如何用来选定 n、草稿长度,以及默认关掉哪类请求?
Agent 性能优化
有人想把若干轻量解码头接到最后隐状态上并行猜后面的 token,再靠候选树一次前向验证,因为 70B 已经把加速卡吃满、运维不同意再驻留一份 7B 草稿。各头接受率随位置怎么掉、部署成本和独立草稿模型怎么比?
Agent 性能优化
连续批处理想捕获图,但活序列条数和各序列页表长短每步都在变。可变页表怎样从静态 CUDA graph 里拆出去——用设备侧间接块表、按活序列数和页数分档做 padding、再准备一池预捕获图——才能既留下分页带来的并发,又不用每步重录图?
Agent 性能优化
TTFT 一夜之间回到冷启动水平。客服机器人把每次都变的 request_id 以及实时时钟写进了系统提示最前面时,怎样还原缓存键是怎么拼的,并重排提示?
Agent 性能优化
一份大约八十页的合同被上传进来,任务是圈出其中所有会到期自动续签的条款。把全文一次塞满上下文,和先召回相关段落再细读,两条路在 token 开销与尾部时延上各输在哪里?线上又如何分配流量?
Agent 性能优化
靠重写来压缩长对话之后,为何前缀缓存的命中率可能反而下降?
Agent 性能优化
前缀 KV 命中之后,为何逐步吐出的新 token 通常并不会因此更快?
Agent 性能优化
逻辑序列被 PagedAttention 映到不连续的物理块上之后,是不是所有形式的 KV 浪费都没了?
Agent 性能优化
投机采样如何让最终 token 服从目标侧分布,而不是草稿看起来过了关?
Agent 性能优化
你主张用最后一层特征训一层草稿网络、自回归预估下一拍隐状态再复用原 LM head,同事却觉得再挂几个解码头就够。哪些观测能证明,相比各头互不依赖,这样更划得来那几步串行开销?
Agent 性能优化
投机解码一次向前看多长,该依据哪些观测来定?
Agent 性能优化
离线选择题分数差不多,可一要求把召回段落里的条款号逐字抄出来,INT4 包就开始瞎编编号。同一套 7B 分别打成 FP16 的服务端构建和 INT4 的端侧包时,半精度浮点(BF16 或 FP16)和整数量化(INT8 或 INT4)破坏的误差类型为何不是同一类,该拿哪类评测来决定哪些层保持更高位宽?
Agent 性能优化
KV cache 量化和权重量化相比:各自压缩的是哪部分字节,误差又分别在哪里显现?
Agent 性能优化
70B 权重量到 INT8 后已经能装进单张 80GB 卡,KV 仍按 BF16 写,剩下的显存只够 8 路满 4k。高峰想把并发提到约 16 路。把 KV 改存 FP8 或 INT8,账面上能多出多少槽位?长上下文精确检索和长链推理哪类先掉点,验收和回滚怎么设?
Agent 性能优化
可 mmap、张量允许混精度的 GGUF 单文件是一侧,分片权重外加独立分词器和对话模板是另一侧;这套 7B 要当笔记本本地助手。冷启动时间、多进程只读共享、量化元数据分别绑在哪一层,什么情况下值得压成单文件?
Agent 性能优化
数学题和工具 JSON 成批坏掉,闲聊分却几乎不动——权重量到了 INT4。该把敏感层拉回更高精度、扩充校准集,还是把这类请求从 4bit 副本上拿掉?
Agent 性能优化
7B 聊天模型要靠训练后量化上到 4 bit 生产——不许重训、窗口只有一周。做得到吗?若再压到 2 bit,哪一类能力会先裂?
Agent 性能优化
部署 70B 模型:4 张卡把每一层张量切开并行,对比起 4 个完整副本,首 token 延迟谁更低,整个集群的吞吐又是谁更高?
Agent 性能优化
单卡工作集在 70B 压到 INT4 之后仍然装不下。什么时候才必须跨卡切开模型,而不是再压精度或换更小的网?
Agent 性能优化
金丝雀和回放门禁要同时盯住可持续吞吐、KV 与工作区显存、TTFT 分位、以及 temperature=0 下同提示的 token 序列,该怎么设?推理引擎小版本升级、发行说明里连分页 KV 块尺寸和调度默认值一并改了时,贪心输出对不上逐字,凭什么区分数值抖动与真回归并决定整包回不回滚?
Agent 性能优化
权重不再在运行时拼算子,改为先编出发射引擎再接流量;换一款架构不同的 NVIDIA 加速卡就得重编。编译步骤究竟把什么冻在「这张卡、这一代 Tensor Core」上,为何编好的引擎不能当普通权重检查点来拷贝?
Agent 性能优化
谁管拉模型、谁管配方文件、谁管聊天模板、谁管真正的矩阵乘?内网二十人要一条命令切换模型、并以兼容 HTTP 口调调用时,这层本地运行时碰到多大并发就该把位置让给专用服务引擎?
Agent 性能优化
聊天高峰把 embedding 打到 OOM。同一组 GPU 同时跑对话服务、embedding、夜间评测三个模型时,如何切显存配额,而不是再采购一排加速卡?
Agent 性能优化
KV 若用基数树索引,哪些前缀能直接复用树上已有的页?排障 Agent 每个工具步都把工具定义、系统提示以及截至目前的完整轨迹重新喂给模型,到第 12 步时首字延迟已经到秒;如果每步塞进时间戳,或把消息顺序打乱,又会怎样?
Agent 性能优化
四成流量是一次性、几乎不共享前缀的长摘要,六成是共用大约 4k 稳定系统前缀的多步 Agent。面对 TensorRT-LLM、vLLM 与 SGLang,该按哪些负载特征来设计实验,而不是看仓库星数?
Agent 性能优化
怎样用参数量和位宽说明 16GB 笔记本根本塞不进名义上 70B 的开源 checkpoint,并讲普通硬件上的推理引擎如何靠量化与 mmap 把真正能跑的那一档拉起来?
Agent 性能优化
发热墙大约 3 瓦、可用内存大约 6 GB,上云只有弱网,还要改写短信并总结通知。怎样在上下文窗、模型体积、以及 NPU 覆盖不足时回退 CPU 之间做取舍,从而既不把全精度 7B 硬塞进手机,也不把请求全部打回云端?
Agent 性能优化
为何不能让聊天推流和凌晨合同审查共用同一条同步的、长寿命 HTTP 连接?这套集群一边给在线聊天做推流,一边要在黎明前消化一万份合同审查。异步通道还要补上哪些状态?
Agent 性能优化
客户端取消后,怎样证明引擎停调度并且该请求的 KV 已交还?
Agent 性能优化
工具调用的 JSON 还没写完,用户却点了停止,而客服页正在边出字边渲染。哪些增量能马上画到屏幕,哪些必须等完整一帧,取消又如何到达推理引擎?
Agent 性能优化
晚高峰队列先爆、新副本随后空转,扩缩容却仍在 GPU 利用率超过 70% 时加机器。新副本就绪要 40~90 秒才能吃到首个 7B 请求。触发信号和预热池该怎么动,使得按队列与 SLO 扩出,并只在持续低负载后才缩回?
Agent 性能优化
新版本提前写入、旧版本只读到切换瞬间,失效回填还要限速扇出——整点政策一翻,大约 40% FAQ 键一起失效,70B prefill 被打满。这套双缓冲预热该怎么落地,才不会把上周政策继续当正确答案,也不会把整点打成一次全量冷启动?
Agent 性能优化
关键词规则会漏检;「取消订单」和「取消订阅」又会被 embedding 近邻打进同一条流水线。同一网关后挂着廉价分类器、昂贵推理模型以及必须转给人工的高风险路径时,路由器如何同时压住误路由和成本?
Agent 性能优化
中文流偶尔冒出 U+FFFD,浏览器又憋到全文结束才渲染,尽管 decode 早已开始。从每个 token 产生到像素上屏,缓冲发生在哪一跳?跨 token 边界的多字节字符应当攒到什么粒度再下发?
Agent 性能优化
默认把流量送到 8B,怎样避免合同审查被静默分流到小模型?网关后同时挂着 8B 与 70B 时,这和副本间负载均衡的差别在哪?
Agent 性能优化
一张卡 KV 已经顶满,另外两张还空着——三张规格相同的 GPU 却被网关按请求个数轮询,因为有的会话拖着 8k 上下文,有的只是问候一句。怎样按飞行中的 token 量、KV 占用水位、以及前缀缓存亲和来选实例,而不是按连接数均分?
Agent 性能优化
一次 registry 拉取要 40 s,13B 早高峰前要从 2 扩到 12。节点本地命中、机房二次分发、运行时层与权重层分离的增量层该怎么铺,分段计时又如何证明冷启动瓶颈已经从拉权重挪到把权重装进 GPU,且扩缩触发器仍走原曲线、首 token 仍要落进 2 秒?
Agent 性能优化
监控里流处理器的占用才 30%,可对话的长尾时延已经由 800 毫秒拉高到 4 秒。量化先别碰,排队等待、prefill、逐步 decode、显存抖动这几段,你会依怎样的顺序逐一拆开排查?
Agent 性能优化
在线 13B 聊天约 80% 请求输入 ≤512 token,约 20% 是 8k 级 RAG。全局 TTFT p99 写成 800ms 之后,长提示把告警打满,短请求真变慢时值班看不见。TTFT / TPOT 按输入长度分桶,错误预算和燃烧率告警该怎么设?
Agent 性能优化
如何设计 AI 应用全链路压测?
Agent 性能优化
TTFT、P99、吞吐量分别说明什么?
Agent 性能优化
如何定位 Agent 链路性能瓶颈?
Agent 性能优化
如何做限流和背压?
Agent 性能优化
熔断器如何设计?
Agent 性能优化
为什么重试可能让系统更不稳定?
Agent 性能优化
如何做容量规划?
Agent 性能优化
如何保障流式连接下的稳定性?
Agent 性能优化
为什么需要量化?INT8 和 FP16 的区别?
Agent 性能优化
GPTQ 和 AWQ 的区别?
Agent 性能优化
vLLM 的 PagedAttention 解决了什么问题?
Agent 性能优化
推理时 OOM 了,你有哪些优化手段?
Agent 性能优化
Continuous Batching 是什么?和 Static Batching 的区别?
Agent 性能优化
首 token 延迟(TTFT)和吞吐量怎么优化?
Agent 性能优化
Speculative Decoding 的原理是什么?
Agent 性能优化
部署 70B 模型,显存不够,你会怎么选型和部署?
Agent 性能优化
MoE 模型推理有什么特殊挑战?
Agent 性能优化
怎么选推理框架?vLLM / TensorRT-LLM / Ollama 各适合什么场景?
Agent 性能优化
短期记忆和长期记忆怎么实现、怎么区分?
Agent 性能优化
长期记忆和 RAG 有什么区别?
Agent 性能优化
记忆模块选什么数据库,依据是什么?
Agent 性能优化
记忆如何召回?怎么避免不同问题召回的记忆互相污染?
Agent 性能优化
在 Agent 项目中怎么设计上下文管理机制?
Agent 性能优化
上下文压缩放在链路哪一步?先压缩再向量化还是反过来?
Agent 性能优化
长对话怎么处理?滑动窗口 + 摘要具体怎么落地?
Agent 性能优化
快到窗口阈值时,怎么避免一次性大段压缩打断用户体验?
Agent 性能优化
工具调用结果怎么压缩?原地还是交给另一个模型?
Agent 性能优化
除了压缩,还有哪些规避窗口限制的方案?
Agent 性能优化
多轮长任务怎么避免「目标迷失」?
Agent 性能优化
怎么区分上下文污染和工具污染?什么时候该新开 session?
Agent 性能优化
如何保证压缩不丢关键内容?失真怎么缓解?
Agent 性能优化
长期运行 Agent 面对数月历史,记忆怎么持续优化?
Agent 性能优化
记忆有没有量化指标?怎么评测贡献?
Agent 性能优化
用户要求删除记忆,系统要怎么支持?
Agent 性能优化
短期与长期记忆怎么实现、怎么区分
Agent 性能优化
记忆整体怎么设计,选什么数据库
Agent 性能优化
长期记忆和 RAG 有什么区别
Agent 性能优化
记忆怎么召回,如何避免相互污染
Agent 性能优化
上下文管理机制怎么设计
Agent 性能优化
上下文工程涵盖哪些环节,最重要是哪一环
Agent 性能优化
压缩放在链路哪一步?先压缩还是先向量化
Agent 性能优化
长对话怎么处理,滑动窗口+摘要落地
Agent 性能优化
工具结果怎么压缩,原地还是另一个模型
Agent 性能优化
为什么上下文越长效果越不稳定
Agent 性能优化
临近阈值怎么避免大段压缩打断体验
Agent 性能优化
除压缩外还有哪些规避窗口限制的方案
Agent 性能优化
多轮长任务怎么避免目标迷失
Agent 性能优化
怎么区分上下文污染和工具污染,何时新开 session
Agent 性能优化
数月历史怎么持续优化记忆
Agent 性能优化
记忆有没有量化指标
Agent 性能优化
哪些数据需要写入记忆
Agent 性能优化
怎么保证压缩不丢关键内容
Agent 性能优化
用户要求删除记忆怎么办
Agent 性能优化
上下文是怎么构建的?怎么避免上下文过长或者信息污染?(百度Agent)
Agent 性能优化
动态Prompt和静态Prompt有什么区别?上下文是如何动态组装的?
Agent 性能优化
上下文窗口总Token是多少?压缩机制
Agent 性能优化
长对话+大量检索文档,上下文过长送入模型出现超时、回答冗余,怎么优化处理(Agent中级)
Agent 性能优化
如果上下文窗口不够,优先保留哪些信息?为什么?(百度Agent)
Agent 性能优化
Token成本怎么控制?
Agent 性能优化
为什么不能把所有聊天记录直接放进Prompt?
Agent 性能优化
静态知识如何进行权限隔离?
Agent 性能优化
如何保证压缩后信息不丢失?
Agent 性能优化
如何处理已经失效的用户信息?
Agent 性能优化
Top-K参数应该如何设置?
Agent 性能优化
向量检索为什么会产生误召回?
Agent 性能优化
什么是Context Pollution?
Agent 性能优化
上下文污染会导致哪些问题?
Agent 性能优化
如何控制Prompt长度?
Agent 性能优化
Token Budget应该如何分配?
Agent 性能优化
Context Compression有哪些实现方式?
Agent 性能优化
Retrieval Pipeline应该如何设计?
Agent 性能优化
如何避免 Prompt 过长导致性能下降?
Agent 性能优化
上下文窗口不足时如何选择保留哪些内容?
Agent 性能优化
多轮会话摘要如何设计?
Agent 性能优化
为什么上下文窗口越大不一定效果越好?
Agent 性能优化
Lost in the Middle 问题是什么?
Agent 性能优化
如何设计 Context Ranking 机制?
Agent 性能优化
Agent 如何进行 Token Budget 分配?
Agent 性能优化
Tool 调用结果如何压缩?
Agent 性能优化
上下文组装服务应该独立成微服务吗?
Agent 性能优化
Prompt Builder 模块应该如何设计?
Agent 性能优化
动态 Prompt 组装链路如何进行性能优化?
Agent 性能优化
如何统计每轮请求的 Token 消耗?
Agent 性能优化
企业级 Agent 如何控制 Token 成本?
Agent 性能优化
如何控制Context Window和Token成本?
Agent 性能优化
长对话场景如何进行上下文压缩?
Agent 性能优化
Token消耗主要集中在哪些部分?
Agent 性能优化
Agent系统中哪些内容最占上下文窗口?
Agent 性能优化
如果上下文窗口不足,应该优先保留哪些信息?
Agent 性能优化
Prompt长度增加为什么会导致成本上升?
Agent 性能优化
Tool Result 应该如何组织到 Prompt 中?
Agent 性能优化
ReAct Agent 的 Prompt 是如何动态变化的?
Agent 性能优化
如何控制 Prompt Token 成本?
Agent 性能优化
Context Compression 如何实现?
Agent 性能优化
如何识别用户偏好类信息?
Agent 性能优化
企业级 Agent 的 Prompt 分层应该如何设计?
Agent 性能优化
System Prompt 和 Skill Prompt 的职责边界是什么?
Agent 性能优化
Prompt 模板如何进行版本管理?
Agent 性能优化
如何衡量上下文质量而不是上下文长度?
Agent 性能优化
MCP Tool 返回超长结果如何处理?
Agent 性能优化
如何监控和评估 Prompt 的效果?
Agent 性能优化
模型如何区分工具返回结果和用户输入?
Agent 性能优化
哪些反思结果值得沉淀为Skill?
Agent 性能优化
Top-K应该如何确定?
Agent 性能优化
Prompt Injection 攻击如何防御?
Agent 性能优化
Agent如何避免上下文污染?
Agent 性能优化
Function Calling的参数最终如何进入模型?
Agent 性能优化
多源信息融合时,知识库、API和用户历史信息冲突怎么办?
Agent 性能优化
如何避免知识污染?
Agent 性能优化
双路召回架构应该如何设计?
Agent 性能优化
向量检索和关键词检索如何结合?
Agent 性能优化
Skill 匹配是在 Prompt 组装之前还是之后?
Agent 性能优化
长短期记忆是怎么设计的?短期记忆和长期记忆分别保存什么?
Agent 性能优化
Agent为什么必须设计记忆模块,短期对话记忆、长期持久记忆分别怎么落地,各自解决什么业务痛点(Agent中级)
Agent 性能优化
分层记忆完整体系:瞬时上下文记忆、短期会话记忆、长期持久记忆、知识库外部记忆四层设计;记忆自动压缩、过期清理、重要信息持久留存策略(Agent高级)
Agent 性能优化
为什么要把长期记忆分成静态长期记忆和动态长期记忆?
Agent 性能优化
每一轮对话都触发长期记忆存储,会不会导致记忆膨胀?以后怎么处理?
Agent 性能优化
大模型如何判断哪些长期记忆需要召回?如何避免召回太多导致上下文污染?
Agent 性能优化
长短期记忆如何设计提取、压缩和冲突更新机制?
Agent 性能优化
多轮对话优化:多轮对话不断累积历史消息,上下文过长、Token消耗过高该怎么优化(Agent初级)
Agent 性能优化
为什么要区分短期 Memory 和长期 Memory?
Agent 性能优化
Memory 如何更新?
Agent 性能优化
Memory 如何压缩?
Agent 性能优化
Memory 如何检索?
Agent 性能优化
反思结果如何存储到长期记忆?
Agent 性能优化
如何避免错误经验被写入长期记忆?
Agent 性能优化
短期记忆和上下文窗口是什么关系?
Agent 性能优化
长期记忆为什么要使用向量数据库?
Agent 性能优化
Agent为什么需要分层记忆体系?
Agent 性能优化
工作记忆、短期记忆和长期记忆有什么区别?
Agent 性能优化
Memory Service应该独立部署吗?
Agent 性能优化
长期记忆如何存储、召回和更新?
Agent 性能优化
记忆层如何避免信息污染?
Agent 性能优化
如何设计记忆检索机制?
Agent 性能优化
什么信息应该进入长期记忆?
Agent 性能优化
什么信息不应该被长期保存?
Agent 性能优化
Skill和Memory有什么区别?
Agent 性能优化
Agent如何自动沉淀长期记忆?
Agent 性能优化
记忆压缩(Memory Compression)如何实现?
Agent 性能优化
如何设计遗忘机制(Forgetting Mechanism)?
Agent 性能优化
Agent 的短期记忆和长期记忆如何协同工作?
Agent 性能优化
Episodic Memory 和 Semantic Memory 有什么区别?
Agent 性能优化
长期记忆如何避免无限增长?
Agent 性能优化
Agent 如何判断哪些内容值得写入长期记忆?
Agent 性能优化
Memory Compression 应该如何设计?
Agent 性能优化
Memory Summary 和原始记忆如何关联?
Agent 性能优化
动态长期记忆的存储结构应该如何设计?
Agent 性能优化
动态记忆如何进行过期清理?
Agent 性能优化
Agent Reflection 结果是否应该进入长期记忆?
Agent 性能优化
动态记忆如何避免错误经验累积?
Agent 性能优化
Skill 是否属于静态长期记忆?
Agent 性能优化
静态记忆和动态记忆如何联合检索?
Agent 性能优化
如何解决不同记忆来源之间的冲突?
Agent 性能优化
Memory Rerank 应该基于哪些特征?
Agent 性能优化
记忆检索延迟过高如何优化?
Agent 性能优化
企业级 Agent 的 Memory Service 应该如何设计?
Agent 性能优化
多 Agent 如何共享长期记忆?
Agent 性能优化
如何实现 Memory 的高可用和容灾?
Agent 性能优化
如何保证长期记忆的数据安全和合规性?
Agent 性能优化
Agent 的记忆系统如何进行监控和审计?
Agent 性能优化
MCP、RAG、Memory 三者在 Agent 架构中的职责边界是什么?
Agent 性能优化
如何判断一条信息是否值得进入长期记忆?
Agent 性能优化
Memory Scoring应该如何设计?
Agent 性能优化
长期记忆写入是同步还是异步?
Agent 性能优化
如何避免重复记忆不断写入?
Agent 性能优化
Memory Compression具体如何实现?
Agent 性能优化
长对话如何自动生成摘要记忆?
Agent 性能优化
什么时候触发记忆压缩?
Agent 性能优化
项目级记忆如何聚合?
Agent 性能优化
Agent为什么需要遗忘机制?
Agent 性能优化
时间衰减策略如何设计?
Agent 性能优化
什么情况下应该删除记忆?
Agent 性能优化
遗忘和归档有什么区别?
Agent 性能优化
长期记忆规模达到百万级如何检索?
Agent 性能优化
如何避免召回无关记忆?
Agent 性能优化
Memory Re-ranking如何设计?
Agent 性能优化
企业Agent长期运行几年后如何管理海量记忆?
Agent 性能优化
多租户环境下如何隔离记忆数据?
Agent 性能优化
长期记忆存储成本如何优化?
Agent 性能优化
如何保证记忆系统的高可用性?
Agent 性能优化
如何评估长期记忆系统的效果和ROI?
Agent 性能优化
Agent 长期记忆为什么需要向量数据库?
Agent 性能优化
长期记忆库数据越来越大怎么办?
Agent 性能优化
Memory Retrieval 如何避免上下文污染?
Agent 性能优化
Agent 如何判断召回哪些记忆?
Agent 性能优化
长期记忆是否需要定期归档和压缩?
Agent 性能优化
长期记忆和动态上下文有什么区别?
Agent 性能优化
记忆召回策略如何设计?
Agent 性能优化
如何避免无关记忆污染当前任务?
Agent 性能优化
记忆如何进行生命周期管理?
Agent 性能优化
用户画像信息应该如何注入 Prompt?
Agent 性能优化
长期记忆和上下文窗口是什么关系?
Agent 性能优化
什么内容应该进入长期记忆?
Agent 性能优化
长期记忆召回后如何避免污染上下文?
Agent 性能优化
Memory Summarization 如何设计?
Agent 性能优化
Memory Consolidation 如何实现?
Agent 性能优化
长期记忆是否需要版本管理?
Agent 性能优化
长期记忆如何进行召回?
Agent 性能优化
如何保证召回记忆的准确性?
Agent 性能优化
Memory Recall的Top-K如何确定?
Agent 性能优化
如何解决记忆召回噪声问题?
Agent 性能优化
Memory Re-ranking如何实现?
Agent 性能优化
长期记忆的数据结构如何设计?
Agent 性能优化
Redis、MySQL、向量数据库分别存储什么?
Agent 性能优化
Memory系统如何支持海量用户?
Agent 性能优化
多Agent之间如何共享记忆?
Agent 性能优化
Memory检索延迟如何优化?
Agent 性能优化
长期记忆如何做权限隔离和安全控制?
Agent 性能优化
Claude、ChatGPT等Agent的记忆体系可能如何设计?
Agent 性能优化
MCP与Memory系统如何结合?
Agent 性能优化
Multi-Agent场景下记忆如何同步?
Agent 性能优化
Agent是否能够形成真正的"经验学习"?
Agent 性能优化
如何设计企业级可持续增长的记忆体系?
Agent 性能优化
Memory、Knowledge、Skill三者之间的关系是什么?
Agent 性能优化
长期记忆应该存储哪些内容,不应该存储哪些内容?
Agent 性能优化
静态长期记忆和动态长期记忆如何划分?
Agent 性能优化
长期记忆的数据模型应该如何设计?
Agent 性能优化
长期记忆如何进行增删改查?
Agent 性能优化
长期记忆如何实现自动遗忘机制?
Agent 性能优化
Memory Graph和向量记忆有什么区别?
Agent 性能优化
用户画像记忆应该如何维护?
Agent 性能优化
如何提升长期记忆召回准确率?
Agent 性能优化
Query Rewrite在记忆召回中的作用是什么?
Agent 性能优化
如何评估记忆召回效果?
Agent 性能优化
长上下文模型是否还需要记忆检索?
Agent 性能优化
Summary Memory如何设计?
Agent 性能优化
Agent如何决定什么时候检索记忆?
Agent 性能优化
多Agent之间如何共享长期记忆?
Agent 性能优化
Agent执行过程中如何动态追加记忆?
Agent 性能优化
记忆召回失败时如何降级处理?
Agent 性能优化
企业知识库与长期记忆有什么区别?
Agent 性能优化
如何防止不同用户之间的记忆串扰?
Agent 性能优化
长期记忆如何实现权限隔离?
Agent 性能优化
百万级记忆数据如何进行检索优化?
Agent 性能优化
Memory系统如何监控和评估?
Agent 性能优化
长期记忆带来的成本如何控制?
Agent 性能优化
如何评估长期记忆对任务成功率的提升?
Agent 性能优化
Context Engineering 和 Prompt Engineering 有什么区别?
Agent 性能优化
长对话场景如何避免上下文丢失?
Agent 性能优化
长上下文模型会出现哪些注意力衰减问题?
Agent 性能优化
Context Pollution 是如何产生的?
Agent 性能优化
如果上下文窗口无限大,还需要记忆系统吗?
Agent 性能优化
多轮对话历史为什么会影响当前回答?
Agent 性能优化
介绍一下Harness Engineering(上下文工程)(附加专题)
Agent 性能优化
如何理解Agent中的状态和上下文?
Agent 性能优化
如何实现跨会话任务状态恢复?
Agent 性能优化
如何实现任务执行过程中的状态快照?
Agent 性能优化
Planner 如何决定保留哪些上下文?
Agent 性能优化
多 Agent 协作时上下文如何共享?
Agent 性能优化
多 Agent 系统中 Prompt 如何共享和传递?
Agent 性能优化