为什么 LLM 推理成本高?如何系统优化 Latency?
题目
为什么 LLM 推理成本高?如何系统优化 Latency?
参考答案
点击展开参考答案
- 成本来自大参数模型每 Token 的矩阵计算、长 Prompt 的 prefill、逐 Token decode、KV Cache 显存,以及 Agent 多轮重复发送历史。
- 端到端延迟还包含模型排队、RAG、Tool、网络和 Loop 串行,不能只看 Token/s。
- 先用 trace 拆 TTFT、prefill、decode、工具和排队;减少无效轮次和上下文,稳定前缀使用 Prompt Cache,独立 I/O 并行,小模型承担分类/抽取,控制输出长度,批任务用 continuous/batch,按 SLA 路由。
- 自建侧再考虑量化、Paged KV、批处理和扩容。
- 联合看成功率、P99 和每成功任务成本。