跳到主要内容

正确答案的 logit 若只比第二名高 0.1,梯度主要打在哪些位置?若一个 batch 的平均交叉熵是 2.3 nats,对应的 token 级困惑度大约多少?

模型选型与微调中级成本

题目​

正确答案的 logit 若只比第二名高 0.1,梯度主要打在哪些位置?若一个 batch 的平均交叉熵是 2.3 nats,对应的 token 级困惑度大约多少?

参考答案​