训练 Tool-using Agent 时,工具返回内容是否应该计算语言模型损失?
题目
训练 Tool-using Agent 时,工具返回内容是否应该计算语言模型损失?
参考答案
点击展开参考答案
- 工具 observation 由环境产生,是后续决策的条件输入,而不是模型需要预测的 token,因此在 SFT 中一般对其 loss mask;参与损失的应是 assistant 的工具选择、工具名、参数以及读取结果后的下一步推理或回答。
- 若对 observation 计算损失,模型会浪费容量复述环境输出,甚至学习伪造工具结果。
- 数据模板必须保留清晰的角色边界和
tool_call_id,长结果可截断或外置,但训练与推理处理方式应一致。 - 训练样本还应覆盖成功调用、参数修复、超时、错误与恢复路径。
- 最终评测应在可执行或可回放环境中检查工具选择、参数有效性和最终状态,而不能只看 token loss。