正确答案的 logit 若只比第二名高 0.1,梯度主要打在哪些位置?若一个 batch 的平均交叉熵是 2.3 nats,对应的 token 级困惑度大约多少?
题目
正确答案的 logit 若只比第二名高 0.1,梯度主要打在哪些位置?若一个 batch 的平均交叉熵是 2.3 nats,对应的 token 级困惑度大约多少?
参考答案
点击展开参考答案
- 语言模型交叉熵是 −log p_θ(y*),自然对数下单位是 nats。
- 困惑度 PPL = exp(平均 CE),2.3 nats 对应 PPL ≈ e^{2.3} ≈ 10,表示模型对下一个 token 的不确定度大约相当于在 10 个等可能候选里猜。
- 对 logits 的梯度是 softmax 概率减去 one-hot:g = p − e_{y*}。
- 正确类只比第二名高 0.1 时分布仍然平,p_{y*} 往往只有约 0.2–0.3,梯度会明显打在一批近邻错误 token 上,把它们往下推、把正确类往上推。
- 设 z 为词表维 logits,p = softmax(z),L = −log p_{y*},则 ∂L/∂z_j = p_j − 1[j = y*]。
- 模型越自信且正确,梯度越小;p_{y*} → 1 时 g → 0。