剖析该先打哪一段:decode 与 prefill 谁先?在报障只写「模型很慢」、流量却是 6000 进、40 出时,两段分别对应使用者能感觉到的哪项指标?
题目
剖析该先打哪一段:decode 与 prefill 谁先?在报障只写「模型很慢」、流量却是 6000 进、40 出时,两段分别对应使用者能感觉到的哪项指标?
参考答案
点击展开参考答案
- 6000 进、40 出意味着绝大部分矩阵乘发生在一次吃完整提示、写出全部输入 KV 并吐出首 token 的阶段;decode 只循环约 40 步。
- 用户感知上,prefill(加上排队和分词)决定 TTFT——「开始出字要等多久」;decode 决定 TPOT / 词间延迟和读完时间——「后半段卡不卡」。
- 没把「慢」拆成这两段之前,换引擎或加卡都是盲打。
- Prefill 输入形状
[B, S, D],S≈6000,注意力分数大约随 S² 涨,FFN 大约随 S·D² 涨,一次前向覆盖整个提示,并通常产出第一个输出 token。 - Decode 每步 q_len=1,读已缓存的 K/V(长度 S+t)和全部权重,再追加 1 个 token。