跳到主要内容

模型选型与微调

📄️7B 稠密 decoder 只用 next-token 损失做预训练。同事要按 Meta Multi-Token Prediction (2024) 的结构,给共享主干加 n 个头,一次预测 t+1 到 t+n。前向和损失怎样组织才仍是教师强制,推理为何还能按标准自回归走,这些头以后怎样给投机解码当草稿,n=2 和 n=4 在信号与干扰上怎么换,以及 n=4 个独立的 d_model→V 头相对「共享一个 LM head、只加小适配器」在 bf16 下多占多少 GiB?

模型选型与微调