指令样本仅 3000 对,未标注手册约 200 亿 token。何种情形下领域续预训练才划算?何种情形下这只是烧算力的遗忘?
题目
指令样本仅 3000 对,未标注手册约 200 亿 token。何种情形下领域续预训练才划算?何种情形下这只是烧算力的遗忘?
参考答案
点击展开参考答案
- 当基座在手册上的困惑度明显偏高——术语被切碎、套话续写不下去、SFT 后仍把内部缩写当普通词——才值得用领域生语料继续做因果语言建模(续预训练)。
- 若痛点只是「会写手册句子但不会按工单格式回答」,那 3000 条指令对加提示就够,先做续预训练只会把模型拧回续写器并冲掉已有对齐。
- 续预训练之后仍然要做指令/对话 SFT,否则线上又变成「接着手册往下编」。
- 续预训练的目标和 SFT 不同:前者最小化领域原文的 next-token loss,吃进术语共现、章节八股、长表描述;后者最小化「指令条件下的合格回答」。
- 数据流:清洗手册(去页眉、扫描垃圾、重复条款折叠)→ 按文档切长序列 → 低学习率因果 LM → 再拿 3000 对做聊天模板 SFT。