Agent 性能优化卡住 prefill 的那道屋顶,为什么常常不是卡住 decode 的那一道?本页总览卡住 prefill 的那道屋顶,为什么常常不是卡住 decode 的那一道?Agent 性能优化中级性能优化 题目 卡住 prefill 的那道屋顶,为什么常常不是卡住 decode 的那一道? 参考答案 点击展开参考答案 Prefill 同时处理输入 token,常更偏计算密集;decode 每步生成少量 token,常受权重及 KV 读取带宽限制。 长上下文、大批量或不同硬件会改变瓶颈。 应分别 profile 阶段,不把“prefill 必然计算瓶颈”当定律。