从网关接到会触发工具调用的用户消息,到终答流式出来,不可省略的环节有哪些、最容易把时延打爆的两处等待在哪?
题目
从网关接到会触发工具调用的用户消息,到终答流式出来,不可省略的环节有哪些、最容易把时延打爆的两处等待在哪?
参考答案
点击展开参考答案
- 不可省略的大致是:鉴权与配额、把系统指令/历史/工具 schema 装配成一次请求、输入安全、路由到具体模型、用该模型的 tokenizer 切分、prefill、解码并流式吐 token、解析工具调用、在沙箱执行、把结果追加后再推理、输出过滤与审计计费。
- 首 token 延迟(TTFT)最容易死在排队和超长历史的 prefill;工具往返最容易死在外部 API 等待,以及第二次把变长上下文再 prefill 一遍。
- 工具循环是“模型选工具 → 平台执行 → 模型读结果 → 继续写”,不是单次前向就能结束。
- Prefill 对整段提示并行算注意力并写入 KV,计算量随提示长度近似二次增长,常是计算受限;decode 每步只进 1 个新 token、反复读 KV,常是显存带宽受限。
- 流式响应在第一个 decode 步之后就可以把 token 推给客户端,所以 TTFT ≈ 排队 + 分词 + prefill + 首步 decode,不要和整段生成时间混为一谈。