跳到主要内容

剖析该先打哪一段:decode 与 prefill 谁先?在报障只写「模型很慢」、流量却是 6000 进、40 出时,两段分别对应使用者能感觉到的哪项指标?

Agent 性能优化中级性能优化

题目​

剖析该先打哪一段:decode 与 prefill 谁先?在报障只写「模型很慢」、流量却是 6000 进、40 出时,两段分别对应使用者能感觉到的哪项指标?

参考答案​