跳到主要内容

7B 要把词表从约 3.2 万扩到约 12.8 万,以降低中文 fertility。d_model=4096。嵌入矩阵和 LM head 继续绑权,能省多少参数和显存?对话模板里的特殊符几乎只出现在输出侧时,绑权会先伤哪类 token?

模型选型与微调中级成本

题目​

7B 要把词表从约 3.2 万扩到约 12.8 万,以降低中文 fertility。d_model=4096。嵌入矩阵和 LM head 继续绑权,能省多少参数和显存?对话模板里的特殊符几乎只出现在输出侧时,绑权会先伤哪类 token?

参考答案​