产品经理定了规矩:线上只要失败一次,这条就收入 golden set。六个月过去,4000 条样本中约有 30% 所依据的政策早已作废,新模型甚至会照背题目的原句。评估时 golden set 究竟该当一把尺子,还是另一份训练数据?平时又该如何维护它?
题目
产品经理定了规矩:线上只要失败一次,这条就收入 golden set。六个月过去,4000 条样本中约有 30% 所依据的政策早已作废,新模型甚至会照背题目的原句。评估时 golden set 究竟该当一把尺子,还是另一份训练数据?平时又该如何维护它?
参考答案
点击展开参考答案
- 它该当尺子:少量、人审、版本化、绝不进入训练或 few-shot 的冻结样本,用来校准自动裁判和做发版对照。
- 把每条失败都倒进去,它会变成又脏又漏的第二训练集,模型会拟合题面措辞,过期制度还会把现行正确的回答判成错。
- 线上失败先进入活的回归池,审过、标签仍有效、且有意保持题面多样之后,才少量晋升进黄金核。
- 黄金集的作用是稳定比较:同一批输入、同一套期望,跨提示/模型/索引画趋势;另一作用是给 LLM 裁判当校准锚(人标与裁判的一致率)。
- 它不负责覆盖所有长尾——那是回归池和探索集的事。