跳到主要内容

在线 13B 聊天约 80% 请求输入 ≤512 token,约 20% 是 8k 级 RAG。全局 TTFT p99 写成 800ms 之后,长提示把告警打满,短请求真变慢时值班看不见。TTFT / TPOT 按输入长度分桶,错误预算和燃烧率告警该怎么设?

Agent 性能优化中级RAG成本

题目​

在线 13B 聊天约 80% 请求输入 ≤512 token,约 20% 是 8k 级 RAG。全局 TTFT p99 写成 800ms 之后,长提示把告警打满,短请求真变慢时值班看不见。TTFT / TPOT 按输入长度分桶,错误预算和燃烧率告警该怎么设?

参考答案​