整包各存一份,或冻结骨干只训很小参数集,用来给同一 7B 挂上 12 种部门口吻。磁盘占用、回滚方式、部门之间会不会互扰,这三项各换来什么?
题目
整包各存一份,或冻结骨干只训很小参数集,用来给同一 7B 挂上 12 种部门口吻。磁盘占用、回滚方式、部门之间会不会互扰,这三项各换来什么?
参考答案
点击展开参考答案
- 全量微调让每个部门得到一份完整权重,能力上限高,但一份 7B 的 bf16 就大约 14GB,12 份是百 GB 级副本,回滚等于切换整包,训练时优化器状态还把显存再抬一截。
- 参数高效微调冻结基座,只训练低秩矩阵、瓶颈模块或前缀之类的小参数集,磁盘上是一份基座加 12 个通常几十到几百 MB 的附件,回滚就是卸掉那个附件。
- 部门之间默认隔离;只有有人把多个附件硬加到同一份权重上,互扰才会出现。
- 全量路径里每个可训参数都有梯度,Adam 一类优化器还要为每个参数挂一阶、二阶矩,训练峰值显存往往是权重体积的数倍,必须分片或梯度检查点。
- PEFT 路径上基座可冻结甚至低比特存放,可训参数常常只有基座的 0.1%–2%,优化器状态按这个小集合计。