跳到主要内容

怎样用一次 mask 的 A/B 对照,判断低训练损失、前言不搭后语的自回归输出是否因为泄漏了后续 token?

模型选型与微调中级成本

题目​

怎样用一次 mask 的 A/B 对照,判断低训练损失、前言不搭后语的自回归输出是否因为泄漏了后续 token?

参考答案​