四成流量是一次性、几乎不共享前缀的长摘要,六成是共用大约 4k 稳定系统前缀的多步 Agent。面对 TensorRT-LLM、vLLM 与 SGLang,该按哪些负载特征来设计实验,而不是看仓库星数?
题目
四成流量是一次性、几乎不共享前缀的长摘要,六成是共用大约 4k 稳定系统前缀的多步 Agent。面对 TensorRT-LLM、vLLM 与 SGLang,该按哪些负载特征来设计实验,而不是看仓库星数?
参考答案
点击展开参考答案
- 按「前缀共享程度、输入输出长度分布、并发、硬件绑定、运维约束」五条取数,而不是按星数。
- Agent 侧应测基数树或自动前缀缓存把 4k 稳定前缀吃下来之后的 TTFT 和 GPU 有效利用率;摘要侧应测超长、互不重复提示下的吞吐和尾延迟,此时前缀复用几乎帮不上忙。
- TensorRT-LLM 只在你已经锁定 NVIDIA、能接受按卡编译、并要用上对应代际的低精度内核时进入决赛;通用默认和模型覆盖面看 vLLM;程序化多步和前缀密集看 SGLang。
- 最终用本集群、本流量回放说话。
- 构造两套回放:A 套把同一系统提示和工具 schema 放在最前,只在末尾追加轨迹;B 套每条请求换一份几乎不重叠的长文档。
- 记录 TTFT、TPOT、达到延迟目标的完成率、KV 占用、编译或启动耗时。