公开集和你手写的私有新题涨幅完全对不上:GSM8K 公开集一夜暴涨十几分,另外 50 道同等难度、数字全新的应用题几乎没有起伏。如何判断新检查点究竟是背题还是真的变强?训练流程与评测集各要动什么?
题目
公开集和你手写的私有新题涨幅完全对不上:GSM8K 公开集一夜暴涨十几分,另外 50 道同等难度、数字全新的应用题几乎没有起伏。如何判断新检查点究竟是背题还是真的变强?训练流程与评测集各要动什么?
参考答案
点击展开参考答案
- 先把「公开基准题突然变强、同分布新题不动」当成记忆信号,而不是能力跃迁。
- 基准污染是评测题、答案或近改写进了训练或微调语料,模型在背题面而不是学算法。
- 接着用改写对照、前缀补全和 n-gram 重叠三角验证;确认后,训练侧去重并停用已泄漏的公开题刷分,评测侧改走截止日期之后的新题和永不公开的私有集。
- 检测方法要能区分「学会了进位」和「见过这道余数题」。
- ①重叠:对训练集和 GSM8K 题干做规范化后的 n-gram / 子串检索(标点、空格、中英数字统一),命中则标污染,但抓网页改写时 n-gram 会漏。