如果只有 1000 条数据,你会怎么微调?
题目
如果只有 1000 条数据,你会怎么微调?
参考答案
点击展开参考答案
- 数据层面:1000 条数据量不大,优先保证质量;做数据增强(同义改写、换表达方式)扩充到 3~5 千条。
- 方法选择:用 LoRA 而不是全参微调,防止过拟合;r 选小一点(8~16)。
- 超参数:低学习率(1e-5 ~ 2e-5)、少 epoch(1~2 轮)、加 weight decay 防过拟合。
- 正则:混入 10%~20% 通用数据,防止灾难性遗忘。
- 评估:小数据集一定要留验证集,密切监控过拟合。
- 替代方案:如果数据实在太少,考虑 few-shot prompt + RAG 方案,不一定非要微调。
- 追问:多少条数据才值得微调?(答:一般建议至少 500~1000 条高质量数据;少于这个数优先调 prompt 和 RAG,微调收益有限)