黄金集在周五把提示改完之后分数依旧很高,可周六跟工具调用相关的投诉却翻倍了。评测台漏掉哪几类切片之后,离线才会看起来满分、生产却翻车?
题目
黄金集在周五把提示改完之后分数依旧很高,可周六跟工具调用相关的投诉却翻倍了。评测台漏掉哪几类切片之后,离线才会看起来满分、生产却翻车?
参考答案
点击展开参考答案
- 黄金集多半是短问答、和提示一起老化,覆盖不到工具轨迹、新意图和真实长度分布。
- 平台必须同时存版本化离线集、按线上流量分层抽样的完整轨迹(含检索和工具出入参)、按任务切片的自动指标、经人工校准的评审模型,以及发布门禁与线上对照实验。
- 旧集分数不动只说明旧分布没回归,不说明新失败不存在。
- 新客诉要在一两天内变成一条持有切片,否则评估集会和产品脱节。
- 一次运行锁定被测系统版本(提示、模型、检索、工具)→ 回放输入 → 记录轨迹 → 多评审器打分 → 按切片对比。
- 能自动的先自动:JSON schema、必含字段、工具名是否合法、引用 ID 是否出现在检索结果里。