公开的应试型榜里 A 大约高出 3 分;内部问答机器人却必须在两个 API 模型中拍板。本周还欠哪几类评估?跳过它们会购入怎样的模型?
题目
公开的应试型榜里 A 大约高出 3 分;内部问答机器人却必须在两个 API 模型中拍板。本周还欠哪几类评估?跳过它们会购入怎样的模型?
参考答案
点击展开参考答案
- 公开基准量的是通用应试能力,不是你们的问题分布、拒答纪律和延迟账单。
- 约 3 分经常落在评测噪声或题面污染的误差带里,不足以定供应商。
- 本周至少还要:从真实工单抽样并版本化的任务集(必须含无法回答的题);自动规则(格式、引用必填、禁止编造工单号);小样本人工或经校准的评审模型;独立计分的安全与越权探针;以及在目标延迟和价位下的影子流量。
- 缺任何一类,都可能买到“基准更高、工单更错、更贵、更爱编政策”的模型。
- 这里评估的是一次或一轮生成,不是 Agent 轨迹。
- 方法要分层、不要互相替代:闭合任务用精确匹配、集合 F1、数值容差;开放生成不要把 n-gram 重叠当主指标。