在算力锁死的前提下,把 N 乘四却不给更多 token,验证损失经常变差。参数与数据该按什么经验一起涨?线上请求量非常大时,这条配比还适用吗?
题目
在算力锁死的前提下,把 N 乘四却不给更多 token,验证损失经常变差。参数与数据该按什么经验一起涨?线上请求量非常大时,这条配比还适用吗?
参考答案
点击展开参考答案
- 预训练损失随参数量 N、token 数 D、算力 C 近似按幂律下降。
- 2022 年那组计算最优实验给出的经验是:固定 C 时 N 和 D 应大致同比例增长,而不是只堆参数,配比大约是每个参数 20 个训练 token,预算用 C≈6ND 换算。
- 只把 N 乘 4、D 不变,等于在更稀的数据上欠拟合大模型,验证损失变差符合这条曲线。
- 若上线后推理次数远大于训练步数,计算最优不等于部署最优:应故意训更小的模型、用远超 20 倍的数据换更低的单次延迟和显存。
- C≈6ND 来自一次前向约 2ND、反传约 2 倍于前向,总量约 6ND(数量级公式,忽略注意力对数项和通信)。
- 代入 D≈20N 得 C≈120N²,于是 N≈√(C/120)、D≈20N;例如 C 取 6×10²³ 量级时,大约是 70B 参数配 1.4T token,和“更大参数、更少 token”的配置相比,前者往往更省算力地降损失。