全参微调时,学习率怎么选?为什么比预训练小?
题目
全参微调时,学习率怎么选?为什么比预训练小?
参考答案
点击展开参考答案
- 预训练学习率:1e-4 ~ 5e-4(如 AdamW,峰值学习率)。
- 全参 SFT 学习率:1e-5 ~ 5e-5,比预训练小一个数量级。
- 为什么小:(a) 预训练是从头学知识,需要大学习率快速探索;(b) SFT 是在已有强模型上做小调整,学习率太大会破坏预训练学到的知识(灾难性遗忘);(c) SFT 数据量小,大学习率容易过拟合。
- LoRA 学习率:比全参微调大,一般 1e-4 ~ 3e-4;因为只训练小矩阵,参数少需要更大学习率来有效更新。
- 追问:学习率 schedule 怎么设计?(答:warmup 前 3% 线性升到峰值,然后 cosine 衰减到接近 0;SFT warmup 比例可以小一些)