审计复跑「同一批题」之后,过关率拉开 7 个百分点。采样、检索快照、提示、版本该按什么次序核对,才能表明落差属于环境、而非评分事后被改?
题目
审计复跑「同一批题」之后,过关率拉开 7 个百分点。采样、检索快照、提示、版本该按什么次序核对,才能表明落差属于环境、而非评分事后被改?
参考答案
点击展开参考答案
- 7 个点几乎一定是系统条件不一致,不是随机抖动。
- 先对审计方冻结的评分脚本做哈希比对,排除事后改分;再按模型版本、提示与系统消息、检索和工具快照、温度与种子、运行时依赖的顺序对齐,每一步优先用当时落盘的请求回放,而不是重新生成。
- 对不上就承认不可复现,不要用今天更好的分数去解释昨天。
- 可复现包应在每次评测落盘:模型或接口的精确版本与请求日期、提示模板哈希、对话模板、温度 / top_p / seed、检索索引快照和 top-k、工具描述、依赖锁、评审模型版本,以及原始输出文本。
- 排查时不要一上来重跑,先把两边的配置清单做差。