TTFT、P99、吞吐量分别说明什么?
题目
TTFT、P99、吞吐量分别说明什么?
参考答案
点击展开参考答案
-
- TTFT(Time To First Token):用户开始感知响应的时间,包含排队、上下文处理和模型 prefill 等。
-
- P99(部分团队记作 TP99):99% 请求的时延不超过该值,用于衡量长尾;
TP99并非完全统一的行业缩写,面试或监控中应先确认它表示首 Token、单步工具还是端到端时延。
- P99(部分团队记作 TP99):99% 请求的时延不超过该值,用于衡量长尾;
-
- 吞吐量:单位时间完成请求、任务或生成 Token 的能力;Agent 场景应区分接入 QPS 和成功任务吞吐。
- 只优化 TTFT 可能不改善完整任务时长;只看平均吞吐会掩盖失败和排队,应与成功率、并发和成本联合分析。