模型选型与微调中级微调
怎么判断微调是否过拟合?
参考答案
点击展开参考答案
- 画 loss 曲线:训练 loss 持续下降,但验证 loss 先降后升——就是过拟合。
- 具体表现:训练集上 loss 很低,但实际生成效果差、复读、格式僵化;换个问法就不会答了。
- 缓解:(a) 减少 epoch(一般 SFT 1~3 轮就够);(b) 降低学习率;(c) 加 dropout / weight decay;(d) 增加训练数据量和多样性。
- 早停:监控验证集 loss,开始回升就停。
- 追问:SFT 一般训几轮?(答:1~3 轮最常见;太多轮容易过拟合、风格固化;数据质量高时 1 轮就够了)