跳到主要内容

闲聊请求的 p99 逐 token 间隔突然出现尖峰——这是把 prefill 可调度预算抬到能整段吞掉 20k RAG 提示之后发生的。原因是什么,块大小该如何往回调?

Agent 性能优化中级RAG成本

题目​

闲聊请求的 p99 逐 token 间隔突然出现尖峰——这是把 prefill 可调度预算抬到能整段吞掉 20k RAG 提示之后发生的。原因是什么,块大小该如何往回调?

参考答案​