Agent 学习与策略优化中级学习与策略优
Agent 后训练如何缓解灾难性遗忘?
参考答案
点击展开参考答案
- 训练数据混入通用/旧能力回放,按任务平衡,避免新域淹没;控制学习率、步数与早停,LoRA/adapter 隔离能力并保留 KL 到参考模型。
- 格式稳定、能力初具后停止 SFT,避免过拟合;RL 奖励同时覆盖旧能力和安全。
- 建立通用对话、工具调用、结构化输出、安全和目标任务回归,每 checkpoint 评测并可回滚。
- 多个租户用独立 adapter 而非改共享基座。
- LoRA 降低但不消除遗忘,仍需数据和评测治理。