7B 要把词表从约 3.2 万扩到约 12.8 万,以降低中文 fertility。d_model=4096。嵌入矩阵和 LM head 继续绑权,能省多少参数和显存?对话模板里的特殊符几乎只出现在输出侧时,绑权会先伤哪类 token?
题目
7B 要把词表从约 3.2 万扩到约 12.8 万,以降低中文 fertility。d_model=4096。嵌入矩阵和 LM head 继续绑权,能省多少参数和显存?对话模板里的特殊符几乎只出现在输出侧时,绑权会先伤哪类 token?
参考答案
点击展开参考答案
- 未绑定是两份
V×d:12.8 万 × 4096 ≈ 5.24×10⁸ 参数一份,两份约 10.5 亿,bf16 大约各 0.98GiB、合计约 1.95GiB(均按 GiB=2³⁰ 字节)。 - 绑权只存一份,大约省 5.2 亿参数和约 0.98GiB 常驻,相对 7B 不是零头。
- 特殊符若几乎只当「下一个 token」被预测、很少作为输入内容出现,绑权会强迫同一向量既当输入嵌入又当输出行,梯度折中,停止符、角色分隔符、工具标记往往先不稳,表现为该停不停或角色串泄漏进正文。
- 自回归的输入嵌入和输出投影作用在同一词表上,绑权(同一矩阵乘或转置乘)在「输入分布≈输出分布」的语言建模里通常合理:看见某个子词和预测它共用几何。
- 扩词表是为了中文少切(fertility 降),新行若随机初始化再绑权,输入侧和输出侧会一起从噪声起步,收敛可以,但聊天模板的特殊符打破对称——
<|assistant|>一类 id 在损失里主要作为目标,用户文本里几乎不出现,嵌入行缺少输入梯度,输出行却要很高;绑在一起就变成「很少被读、却必须好写」。