跳到主要内容

拆开 prefill 与 decode 之后,什么流量或互联条件下反而慢过混部在一起?

Agent 性能优化中级性能优化

题目​

拆开 prefill 与 decode 之后,什么流量或互联条件下反而慢过混部在一起?

参考答案​