生产突发格式漂移和跑题。要一次只翻一个开关,系统提示、few-shot、检索片段、采样参数该按什么次序隔离?
题目
生产突发格式漂移和跑题。要一次只翻一个开关,系统提示、few-shot、检索片段、采样参数该按什么次序隔离?
参考答案
点击展开参考答案
- 先原样回放一条失败请求的完整渲染提示、模型 ID 和解码参数,确认不是发版或供应商默参被改。
- 然后按“先外后内”做减法:去掉检索、去掉 few-shot、回退上一版系统提示、最后把 temperature 钉到 0,每步只翻一个开关。
- 哪个开关一关故障消失,根因就落在那一层,而不是同时改四处。
- 常见漂移来源并不互斥:系统提示和示例互相打架、检索段落里夹着指令口吻、示例标签和当前 schema 不一致、温度或 top_p 被调高、模型版本静默升级。
- 日志若只存用户原话,等于看不见真实上下文,必须存渲染后的全量(注意脱敏)。