三张工单一起砸到刚发布的客服基座上:昨天刚换的价目表、填不齐模板字段的回复、被写成大白话的内部缩写。真正需要更新权重的是哪几张?
题目
三张工单一起砸到刚发布的客服基座上:昨天刚换的价目表、填不齐模板字段的回复、被写成大白话的内部缩写。真正需要更新权重的是哪几张?
参考答案
点击展开参考答案
- 微调是在已有预训练或指令 checkpoint 上,用任务对继续做梯度更新,把「这一类输入应落到那一类输出」写进权重。
- 模板字段对不齐、内部缩写被展开,是稳定的格式和术语习惯,提示钉不住、又要低延迟短上下文时,才值得收集示范再训。
- 价目昨天刚改,是会过期的事实,写进权重明天又错,应走检索或查询接口,而不是微调。
- 一次微调请求的数据流是:示范(指令 + 目标续写)→ 前向得到下一 token 分布 → 通常只对回答 token 做交叉熵 → 反向更新全部或部分权重。
- 训完后,映射住在 checkpoint 里,线上可以把系统说明从两千 token 收到一两百,输出 schema 的方差也会下降。