跳到主要内容

推理服务压测为何不能只报 tokens/s,还要把 goodput 写进结果?

Agent 性能优化中级成本规划

题目​

推理服务压测为何不能只报 tokens/s,还要把 goodput 写进结果?

参考答案​