什么是灾难性遗忘?怎么缓解?
题目
什么是灾难性遗忘?怎么缓解?
参考答案
点击展开参考答案
- 定义:微调后模型在新任务上变好,但在原有通用能力上大幅下降;本质是微调数据分布和预训练分布差异大,模型参数被"拉"向新分布。
-
- (a) 降低学习率、减少训练 epoch,不要训太多轮。
-
- (b) 混入通用数据(replay):在微调数据中加 5%~20% 通用对话/知识数据。
-
- (c) 用 LoRA/QLoRA:冻结基座参数,只训练小矩阵,天然缓解遗忘。
-
- (d) 正则化:EWC 等方法惩罚对重要参数的改动。
- 验证:微调后跑通用 benchmark(MMLU、C-Eval 等)对比基线,确认通用能力没掉太多。
- 追问:LoRA 为什么能缓解遗忘?(答:因为基座模型权重完全冻结,只是加了一个小的增量分支;原模型能力完整保留,推理时甚至可以不加载 LoRA 回到原模型)