Agent 性能优化把长输入的 prefill 拆成可调度块后,TTFT 与 ITL 会怎样联动变化?本页总览把长输入的 prefill 拆成可调度块后,TTFT 与 ITL 会怎样联动变化?Agent 性能优化中级性能优化 题目 把长输入的 prefill 拆成可调度块后,TTFT 与 ITL 会怎样联动变化? 参考答案 点击展开参考答案 把长输入的 prefill 拆成可调度块,可减少其对正在 decode 请求的阻塞;块太小可能增加调度开销或延长该请求的首 token 等待。 在输入长度与并发分布下测试块大小及 token budget,不盲目照抄默认值。