微调数据集怎么构建?需要注意什么?
题目
微调数据集怎么构建?需要注意什么?
参考答案
点击展开参考答案
- 数据质量 > 数量:1000 条高质量数据 >> 10000 条噪声数据;标注要准确、风格一致。
- 数据多样性:覆盖目标场景的各种 case,包括边界 case 和少量"反例";避免数据分布过于单一。
- 数据格式:严格统一(如 chat template:system/user/assistant 三段);和推理时格式完全一致。
- 数据清洗:去重、去 PII、去低质量样本;检查长度分布,去掉过长/过短的异常样本。
- 比例:如果是在通用模型上做领域微调,混入 5%~10% 通用对话数据,防止灾难性遗忘。
- 追问:指令微调数据格式为什么重要?(答:模型学的就是这个格式;如果训练时用一种格式、推理时用另一种,模型表现会大幅下降;所以一定要用和推理时一致的 chat template)
- 追问:怎么造微调数据?(答:人工标注、用更强的模型蒸馏(GPT-4 生成)、从业务日志中清洗构造)