跳到主要内容

新任务交叉熵仍在下降,但安全拒答、小学算术、开放域问答这些通用探针已经失分。这算灾难性遗忘,还是只是一般的过拟合?训练中途优先动哪些设置?

模型选型与微调中级安全

题目​

新任务交叉熵仍在下降,但安全拒答、小学算术、开放域问答这些通用探针已经失分。这算灾难性遗忘,还是只是一般的过拟合?训练中途优先动哪些设置?

参考答案​