SFT 和预训练有什么区别?
题目
SFT 和预训练有什么区别?
参考答案
点击展开参考答案
- 数据不同:预训练用海量无标注文本(万亿 token),学语言模型知识;SFT 用几万到几十万条高质量指令-回答对,学"如何遵循指令"。
- 目标不同:预训练是下一个 token 预测(next token prediction);SFT 仍然是 next token prediction,但数据格式是指令格式,相当于让模型学会在特定格式下生成合理回答。
- 学习率不同:预训练学习率大(1e-4 ~ 5e-4),SFT 学习率小很多(1e-5 ~ 5e-5),避免灾难性遗忘。
- 规模不同:预训练需要数千张 GPU 跑数月;SFT 几十张 GPU 几天即可完成。
- 追问:SFT 数据量多大合适?(答:一般 1万~10万条高质量数据即可显著提升;太多反而可能过拟合、降低模型泛化能力)
- 追问:为什么 SFT 后模型会变得更"听话"但知识面变窄?(答:SFT 数据分布集中在对话格式上,模型学到的是对话风格而非新知识;如果 SFT 数据质量差或过多,会遗忘预训练知识)