Agent 性能优化推理服务压测为何不能只报 tokens/s,还要把 goodput 写进结果?本页总览推理服务压测为何不能只报 tokens/s,还要把 goodput 写进结果?Agent 性能优化中级成本规划 题目 推理服务压测为何不能只报 tokens/s,还要把 goodput 写进结果? 参考答案 点击展开参考答案 Goodput 只计入满足约定质量与延迟 SLO 的有效工作量;大量排队或超时请求可以让总吞吐好看,却无法满足用户体验。 明确统计单位是请求还是 token,并报告负载、失败率、TTFT 和 ITL 分位数。