仓库里连冻结评测集都没有,理赔分流助手却要在本周改系统提示。只靠五条「看起来还行」的样例去改,质量会如何在没红灯的情况下变差?允许有人动提示前必须先钉死哪四样?
题目
仓库里连冻结评测集都没有,理赔分流助手却要在本周改系统提示。只靠五条「看起来还行」的样例去改,质量会如何在没红灯的情况下变差?允许有人动提示前必须先钉死哪四样?
参考答案
点击展开参考答案
- 五条例子盖不住拒赔、材料缺失和金额边界,改完也无法指出哪一类坏了;提示一换,模型会换一套更顺的话术,旧边角整体塌掉却没有红灯。
- 评估驱动开发是先把“什么叫更好”写成不能改口的检查,再允许改提示、检索或模型。
- 动提示之前先锁四样:冻结集(输入加期望行为)、分层指标、通过与回滚门槛、以及禁止把冻结题写进提示的隔离规则。
- LLM 应用几乎没有传统确定性单测:同一提示多次采样可得到不同字符串,所以开发循环必须是“改装配 → 跑评测 → 看分层分 → 才合并”。
- 冻结集从真实工单分层抽,至少含主路径、必须拒答、对抗短句和历史事故回放;每条写可检查的期望(分流标签、必含字段、禁止承诺赔付)。