微调时 loss 不降怎么办?排查思路?
题目
微调时 loss 不降怎么办?排查思路?
参考答案
点击展开参考答案
- 先看是不是正常情况:刚开始 loss 不降可能是 warmup 阶段;确认 learning rate 是否合理。
- 数据问题:检查数据格式是否正确(chat template 对不对);label mask 是否正确(只对 response 部分算 loss);数据有没有乱码。
- 超参数:学习率太大→loss 震荡或爆炸;学习率太小→loss 下降慢;batch size 太小→训练不稳定。
- 代码 bug:检查梯度是否正常流动(LoRA 参数 requires_grad 是否 True);检查 loss 是否正确平均。
- 资源问题:显存不足导致 gradient checkpointing 问题;数据加载慢导致 GPU 空转。
- 追问:loss 爆炸了怎么办?(答:降低学习率、加 gradient clipping、检查数据里有没有异常长样本、确认 weight initialization)
- 追问:怎么判断 loss 是否收敛正常?(答:SFT 初始 loss 一般在 2
3 左右,收敛后降到 0.51.5 视任务而定;比初始 loss 降一半以上基本正常)