跳到主要内容

产品经理定了规矩:线上只要失败一次,这条就收入 golden set。六个月过去,4000 条样本中约有 30% 所依据的政策早已作废,新模型甚至会照背题目的原句。评估时 golden set 究竟该当一把尺子,还是另一份训练数据?平时又该如何维护它?

Agent 评测与可靠性中级评测

题目​

产品经理定了规矩:线上只要失败一次,这条就收入 golden set。六个月过去,4000 条样本中约有 30% 所依据的政策早已作废,新模型甚至会照背题目的原句。评估时 golden set 究竟该当一把尺子,还是另一份训练数据?平时又该如何维护它?

参考答案​