输出格式已经稳住、多跳归因几乎没动,这是三千条工单上的 LoRA。升秩、换插入层、改全参数,怎样对照才能分清是 LoRA 容量不够,还是数据教不会推理?
题目
输出格式已经稳住、多跳归因几乎没动,这是三千条工单上的 LoRA。升秩、换插入层、改全参数,怎样对照才能分清是 LoRA 容量不够,还是数据教不会推理?
参考答案
点击展开参考答案
- 固定这三千条和大致学习率量级,做三组只改一个因素的对照:例如把秩从 8 提到 64、把目标层从注意力投影扩到 MLP、以及用更小学习率做一小段全参数(或全参数但冻结底层)。
- 若加大容量后归因仍贴着基座、训练损失已经很低,偏向数据缺少可学的推理轨迹;若全参数明显拉开、LoRA 再加秩仍不动,才是低秩更新表达不了这套行为。
- 默认先穷尽层与秩,再考虑全量,因为全量贵、难回滚、更容易伤通用能力。
- LoRA 用
ΔW ≈ BA、秩 r 远小于min(d_in, d_out)去逼近权重更新。 - 格式、语气、字段顺序常常落在低秩方向,几千条就够;多跳归因要改更多中间计算,可能是子空间不够,也可能是样本只给了结论没给路径。