跳到主要内容

把长输入的 prefill 拆成可调度块后,TTFT 与 ITL 会怎样联动变化?

Agent 性能优化中级性能优化

题目​

把长输入的 prefill 拆成可调度块后,TTFT 与 ITL 会怎样联动变化?

参考答案​