蒸馏 Agentic 模型时,哪些 token 和信号应该学习?
题目
蒸馏 Agentic 模型时,哪些 token 和信号应该学习?
参考答案
点击展开参考答案
- Chat 蒸馏主要学习答案分布;Reasoning 蒸馏涉及长推理轨迹的质量与长度;Agentic 蒸馏还要学习状态条件下的工具选择、参数、错误恢复和终止策略。
- 环境产生的 tool result/observation 不应作为模型预测目标计算损失,但要作为条件输入;否则模型会学会伪造环境反馈。
- 训练样本需要完整的
state→action→observation边界、工具版本和成败结果。 - 只模仿成功轨迹会忽略恢复,可加入对比动作、失败修复和 step/trajectory preference。
- 评测不只看文本相似度,而要在模拟环境测工具、参数、最终状态、pass^k 和成本;防止小模型复述教师风格却不会行动。