跳到主要内容

瓶颈插入子层、骨干冻结、下线只卸模块,而且必须能热插拔。解码时每个插入点多做哪些矩阵乘?为何这类残差瓶颈不能像 LoRA 那样折进 W?

模型选型与微调中级微调

题目​

瓶颈插入子层、骨干冻结、下线只卸模块,而且必须能热插拔。解码时每个插入点多做哪些矩阵乘?为何这类残差瓶颈不能像 LoRA 那样折进 W?

参考答案​