若生产任务是自家制度问答外加一点 SQL,供应商幻灯片仍在秀模型 A:HumanEval 一项高出 8 分、MMLU 一项高出 4 分、GSM8K 一项高出 6 分。请判断哪些分差能进入候选名单,哪些基本是噪声?
题目
若生产任务是自家制度问答外加一点 SQL,供应商幻灯片仍在秀模型 A:HumanEval 一项高出 8 分、MMLU 一项高出 4 分、GSM8K 一项高出 6 分。请判断哪些分差能进入候选名单,哪些基本是噪声?
参考答案
点击展开参考答案
- 这三项测的是通用知识选择、短函数代码生成、小学应用题推理,都不是「你们制度里哪一版有效」或「对着内部表结构写可执行 SQL」。
- 制度问答几乎不该被 MMLU/GSM8K 的分差打动;SQL 只和 HumanEval 有弱相关——它证明模型能按自然语言写能过单测的短 Python,不证明它懂你们的字段和权限。
- 公开基准最多当粗筛(模型是否明显不会推理或不会写代码),短名单必须换成自有制度题和带 schema 的 SQL 题。
- MMLU 是多学科四选一,覆盖的是预训练里的学术知识面,答对靠选项辨识,不测引用、拒答和过期知识。
- GSM8K 是小学数学应用题(名称里的 8K 量级),强模型上已经接近饱和,+6 分在不同评测脚手架(是否允许计算器、思维链、自洽采样)下经常不可比。