跳到主要内容

评审误把「线性层旁边再挂小稠密块」叫做 LoRA。合并进原权重后,为何解码计算图仍与基座相同?真正多出来的是哪两个矩阵,谁必须保持冻结?

模型选型与微调中级微调

题目​

评审误把「线性层旁边再挂小稠密块」叫做 LoRA。合并进原权重后,为何解码计算图仍与基座相同?真正多出来的是哪两个矩阵,谁必须保持冻结?

参考答案​