产品经理本周要发三份读感更专业的提示稿。如何用事先锁住的考题集看哪一版更经得住,而不是信几个成功演示?
题目
产品经理本周要发三份读感更专业的提示稿。如何用事先锁住的考题集看哪一版更经得住,而不是信几个成功演示?
参考答案
点击展开参考答案
- 先冻结一份带标签的评测集和计分规则,三份新提示与线上现行版在同一模型、同一解码参数下跑全量,只比较相对现行版的净变化。
- 看任务正确率、格式合规、该拒答却答了、延迟和 token,再人工抽失败样本,确认不是为了讨好某几个 demo 而伤了长尾。
- 没有冻结集和回归门槛,就不该发版。
- Demo 成功是有偏抽样:提出改动的人会挑模型本来就会的例子。
- 评测集要按真实流量分层,例如大约 100–300 条,覆盖主路径、缺字段、冲突指令、多语言和已知历史故障,并且在比较期间锁住,禁止边看结果边改金标。