Prompt 或模型升级如何做回归?
题目
Prompt 或模型升级如何做回归?
参考答案
点击展开参考答案
- 回归时应锁定代码、Prompt、模型、工具、知识索引和评测环境版本,让新旧版本运行同一分层数据集。
- 对非确定性 Agent,同一 case 应多次运行并做配对比较,报告均值和方差,而非各跑一次。
- 除任务成功率外,还要比较严重错误类型、轨迹约束、步骤数、P99 时延、人工接管率及每个成功任务的成本,并按场景和难度切片。
- 差异样本优先人工复核,排除 Judge 偏差。
- 上线采用 Shadow 或 Canary,并设置安全、错误动作和成本护栏;trace 需绑定全部版本,长任务执行中避免切换版本,并支持快速回滚。