长度为 4k 的训练样本可以在一次前向里把整段交叉熵并行算完,但要写出 200 个 token 仍然得按时间步走完 200 步。同一种自回归因式分解,两边的可并行程度为何会完全两样?
题目
长度为 4k 的训练样本可以在一次前向里把整段交叉熵并行算完,但要写出 200 个 token 仍然得按时间步走完 200 步。同一种自回归因式分解,两边的可并行程度为何会完全两样?
参考答案
点击展开参考答案
- 自回归把序列的联合概率拆成 ∏t P(x_t | x<t)。
- 训练时真实前缀已经写在样本里,因果 mask 只是挡住“看未来”,每个位置可以同时预测下一个 token,一次前向就能对整段求交叉熵。
- 生成时下一步的输入就是上一步刚采样出的 token,这是真实的数据依赖,mask 消不掉,所以 decode 步数随输出长度线性增长。
- 训练一次前向的主导形状是 [batch, T, d],矩阵乘按 T 并行铺开;decode 每步有效序列长度是 1,算力利用率掉一截。
- KV cache 把已算过的 K、V 留下来,让第 t 步不必重算前 t−1 步的投影,计算从 O(t) 降到“只算新位置”,但读 cache 的访存仍随 t 涨,长输出后往往变成带宽瓶颈。