「质量分」单一 KPI 对每次约 800 token 的法务备忘录助手为何是错的契约?正确性、引用、延迟、拒答该各自挂到哪一族指标?
题目
「质量分」单一 KPI 对每次约 800 token 的法务备忘录助手为何是错的契约?正确性、引用、延迟、拒答该各自挂到哪一族指标?
参考答案
点击展开参考答案
- 单一质量分会把不可交换的失败平均掉:编造法条、漏引出处、超预算、该拒答却给了意见,权重一调就能让分数变好而事故照旧。
- 输出评估要按维度列契约,每族用不同仪器。
- 正确性:对有依据的条款做支持、矛盾、无关,或核对关键实体与数字。
- 引用:每个主张是否指向已提供或已检索的片段。
- LLM 输出没有唯一正确字符串,所以先问这一维有没有自动检查器。
- 闭合维(JSON schema、案号格式、禁用“保证胜诉”)用规则,便宜且可进 CI。