指令微调数据格式为什么重要?举个例子说明。
题目
指令微调数据格式为什么重要?举个例子说明。
参考答案
点击展开参考答案
- 为什么重要:微调本质上是让模型学会在特定格式下生成特定分布的回答;如果训练和推理格式不一致,模型会"困惑",表现大幅下降。
- 正确示例(LLaMA-3 格式):
- <|begin_of_text|><|start_header_id|>system<|end_header_id|>
- 你是一个 helpful assistant.<|eot_id|><|start_header_id|>user<|end_header_id|>
- 今天天气怎么样?<|eot_id|><|start_header_id|>assistant<|end_header_id|>
- 今天晴,20~25度。<|eot_id|>
- 追问:为什么 label mask 只算 response 部分?(答:因为 prompt 部分是用户输入,我们不希望模型学习"怎么生成用户的问题";只让模型学习"给定问题,怎么生成回答")