要用失败样本让模型改写自己的提示来提准确率。「写提示的提示」里该放什么,评测和人审必须卡住什么?
题目
要用失败样本让模型改写自己的提示来提准确率。「写提示的提示」里该放什么,评测和人审必须卡住什么?
参考答案
点击展开参考答案
- “写提示的提示”里只放任务规格、输出契约、硬约束和一小撮已脱敏的失败聚类,让模型提出候选模板,而不是直接改生产配置。
- 候选必须在冻结的、它没见过的评测集上跑分;人审负责看它有没有过拟合这几条失败、有没有塞进不该说的内部规则。
- 模型的自评分数不能当发版依据。
- 闭环可以是:现行模板跑评测 → 按错误类型聚类(格式、拒答不足、实体错)→ 把每类 5–15 条代表失败、当前模板和硬约束(必须 JSON、禁止编造订单号、最长 N token)交给生成器 → 产出 2–4 个候选 → 同一套评测重跑。
- 生成器需要的是失败的模式,不是标准答案全文,否则它会把金标例句背进模板,造成表面满分。