同一 LoRA 跑出交叉熵尖峰、领域升通用降、训练满分但验证不动三种曲线。每种先碰哪一颗超参?为什么不能一次同时改三颗?
题目
同一 LoRA 跑出交叉熵尖峰、领域升通用降、训练满分但验证不动三种曲线。每种先碰哪一颗超参?为什么不能一次同时改三颗?
参考答案
点击展开参考答案
- 损失尖刺先砍学习率(或加 warmup / 梯度裁剪),不要先加 rank。
- 领域涨、通用掉先减有效更新强度:更低 LR、更少 step,必要时降 rank 或混回放,这是遗忘信号。
- 训练满分、验证不动先减 epoch/步数并查去重,其次才加 dropout 或 weight decay,这是过拟合。
- 一次拧三颗会让你无法归因:第二天曲线好了也不知道是 LR 救的还是数据去重救的。
- LoRA 里真正放大更新的是 η 和缩放 α/r:有效旁路是 (α/r)BA。
- 常见起步(示意,需按实现验证):LR 约 1e-4~2e-4,r=8 或 16,α=16 或 32,warmup 约总步数的 3%~5%,weight decay 取小(例如 0~0.01),目标层先试注意力的 q/v。