瓶颈插入子层、骨干冻结、下线只卸模块,而且必须能热插拔。解码时每个插入点多做哪些矩阵乘?为何这类残差瓶颈不能像 LoRA 那样折进 W?
题目
瓶颈插入子层、骨干冻结、下线只卸模块,而且必须能热插拔。解码时每个插入点多做哪些矩阵乘?为何这类残差瓶颈不能像 LoRA 那样折进 W?
参考答案
点击展开参考答案
- 典型做法是在注意力子层和/或前馈子层的残差支路上插入降维 → 非线性 → 升维的瓶颈(d → r → d,r ≪ d),近零初始化让它起步接近恒等,只训练这些小模块。
- 基座 W 不动,下线一个任务就是卸掉对应模块文件。
- 解码每个插入点每步都要多做两次瘦矩阵乘再加非线性,这条支路对 x 不是纯线性,所以不能写成一个与 W 同形的 ΔW 一次性加回去;LoRA 可以,是因为它的增量是 BA 这种线性映射。
- 插入位置常见两种密度:注意力后和前馈后各一处,或每层只留一处以换延迟。
- 参数量示意:单处、d=4096、r=64、32 层,大约 2×32×4096×64 ≈ 1.7×10⁷ 个可训量,仍远小于 7B。