跳到主要内容

监控里流处理器的占用才 30%,可对话的长尾时延已经由 800 毫秒拉高到 4 秒。量化先别碰,排队等待、prefill、逐步 decode、显存抖动这几段,你会依怎样的顺序逐一拆开排查?

Agent 性能优化中级性能优化

题目​

监控里流处理器的占用才 30%,可对话的长尾时延已经由 800 毫秒拉高到 4 秒。量化先别碰,排队等待、prefill、逐步 decode、显存抖动这几段,你会依怎样的顺序逐一拆开排查?

参考答案​