7B 稠密 decoder 只用 next-token 损失做预训练。同事要按 Meta Multi-Token Prediction (2024) 的结构,给共享主干加 n 个头,一次预测 t+1 到 t+n。前向和损失怎样组织才仍是教师强制,推理为何还能按标准自回归走,这些头以后怎样给投机解码当草稿,n=2 和 n=4 在信号与干扰上怎么换,以及 n=4 个独立的 d_model→V 头相对「共享一个 LM head、只加小适配器」在 bf16 下多占多少 GiB?
题目
7B 稠密 decoder 只用 next-token 损失做预训练。同事要按 Meta Multi-Token Prediction (2024) 的结构,给共享主干加 n 个头,一次预测 t+1 到 t+n。前向和损失怎样组织才仍是教师强制,推理为何还能按标准自回归走,这些头以后怎样给投机解码当草稿,n=2 和 n=4 在信号与干扰上怎么换,以及 n=4 个独立的 d_model→V 头相对「共享一个 LM head、只加小适配器」在 bf16 下多占多少 GiB?
参考答案
点击展开参考答案
- 主干仍做一次因果前向:输入是整段真实 token,位置 t 的隐状态 h_t 只依赖 x_≤t。
- 第 k 个头(k=1..n)读同一个 h_t,去预测 x_{t+k};k=1 就是原来的下一 token。
- 损失是这 n 路交叉熵的加权平均,t+k 越出序列的位置不进损失,也不要把某个头采样出的 token 再喂回主干,否则就离开了教师强制。
- 上线时写进概率分解的只有第 1 个头:仍是逐 token 采样、追加、再前向。
- 约定输入 x[0:T] 为真实序列,h[t] 由 x[0:t] 经因果 mask 算出,第 k 个头在 t 处的目标是 x[t+k](要求 t+k < T)。
- 这样第 3 个头在预测 x[t+3] 时,主干并没有看见 x[t+1] 和 x[t+2]:它们只出现在序列后部,作为更靠后位置的输入,被 mask 挡住。