跳到主要内容

通用能力下滑且禁止重新训练,领域全参权重已经在磁盘上。分词器换过或文风彻底塌掉时,为何在基座与微调权重之间走直线也救不回来?两者之间怎样做线性插值,又怎样对任务向量做加减?α 该看领域、通用哪两条验证曲线?

模型选型与微调中级RAG微调

题目​

通用能力下滑且禁止重新训练,领域全参权重已经在磁盘上。分词器换过或文风彻底塌掉时,为何在基座与微调权重之间走直线也救不回来?两者之间怎样做线性插值,又怎样对任务向量做加减?α 该看领域、通用哪两条验证曲线?

参考答案​