Agent 性能优化拆开 prefill 与 decode 之后,什么流量或互联条件下反而慢过混部在一起?本页总览拆开 prefill 与 decode 之后,什么流量或互联条件下反而慢过混部在一起?Agent 性能优化中级性能优化 题目 拆开 prefill 与 decode 之后,什么流量或互联条件下反而慢过混部在一起? 参考答案 点击展开参考答案 分离增加 KV 传输、调度与网络开销;短输入、低并发或互联较慢时,这些成本可能超过隔离收益。 分离不是默认的吞吐倍增器。 测量 KV 传输量、网络拥塞和两个池的负载失衡。