怎样用一次 mask 的 A/B 对照,判断低训练损失、前言不搭后语的自回归输出是否因为泄漏了后续 token?
题目
怎样用一次 mask 的 A/B 对照,判断低训练损失、前言不搭后语的自回归输出是否因为泄漏了后续 token?
参考答案
点击展开参考答案
- 最干净的对照是:同一批样本,分别用严格下三角因果 mask 和全可见 mask 跑前向,比较每个位置的 next-token 损失。
- 若全可见时损失显著更低、生成却仍然崩,说明训练在“抄”未来 token,损失不再代表从左到右生成的质量。
- 自回归 decoder 必须让位置 i 只能看见 ≤i,并且标签相对输入错开一位。
- 实现上通常在 QKᵀ 上给上三角加 −∞,softmax 后对应权重为 0。
- 训练整段并行:输入 [t₀…t_{n−1}] 预测 [t₁…tₙ],位置 i 的隐状态若读到 t_{i+1},模型会走捷径,验证损失可以很低;生成时没有未来 token,捷径失效。