跳到主要内容

长度为 4k 的训练样本可以在一次前向里把整段交叉熵并行算完,但要写出 200 个 token 仍然得按时间步走完 200 步。同一种自回归因式分解,两边的可并行程度为何会完全两样?

模型选型与微调中级成本

题目​

长度为 4k 的训练样本可以在一次前向里把整段交叉熵并行算完,但要写出 200 个 token 仍然得按时间步走完 200 步。同一种自回归因式分解,两边的可并行程度为何会完全两样?

参考答案​