一边仅 80 条标注且两周必须发版,另一边手头有 5000 条稳定数据但底座冻结。继续改字面提示和去学软提示,各对应哪一种?
题目
一边仅 80 条标注且两周必须发版,另一边手头有 5000 条稳定数据但底座冻结。继续改字面提示和去学软提示,各对应哪一种?
参考答案
点击展开参考答案
- 80 条、两周:继续做文字提示(指令、少量样例、schema、校验),因为你没有足够数据估计一组新参数,也来不及搭训练和回滚。
- 5000 条且底座冻结:才值得考虑提示调参——在词表之外学一段连续前缀(软提示),推理时拼到真实 token 前面,底座权重不动。
- 前者改的是人能读的接口,迭代按小时;后者改的是一小段可训练向量,要有训练数据、验证集和与底座版本绑定的制品。
- 文字提示工程不写梯度,换模型供应商时通常还能带走;失败了回滚就是换回上一版字符串。
- 提示调参(以及近亲的前缀调参)把「虚拟 token」当成参数,长度常见是几十到一两百个向量,每个宽与模型隐维度相同(例如宽度 4096 时,100 个软 token 大约是 40 万个参数量级,远小于全量微调)。