如何判断应该做 Mid-training、SFT 还是 RL?
题目
如何判断应该做 Mid-training、SFT 还是 RL?
参考答案
点击展开参考答案
- 先诊断缺口:模型不懂领域语言、代码模式或长上下文表征,属于底座分布缺口,考虑 Mid-training;模型知道能力但不会按协议、格式和示范行动,使用 SFT;模型已能偶尔完成,且存在可靠可验证奖励,希望提升策略泛化和长程决策,再考虑 RL。
- 流程通常先 Prompt/RAG/工具改造建立低成本基线,再训练。
- Mid-training 混入通用保留数据防遗忘;SFT 数据覆盖正确轨迹与边界;RL 需要环境、rollout、多样性、KL 和 reward-hacking 防护。
- 每阶段用通用能力、工具调用、安全和目标任务回归,避免把检索错误误诊为需要训练。