SFT 语料来自线上客服,一共八千段会话。哪些轮次配进训练集?哪些轮次一旦写入会把模型带坏?
题目
SFT 语料来自线上客服,一共八千段会话。哪些轮次配进训练集?哪些轮次一旦写入会把模型带坏?
参考答案
点击展开参考答案
- 能进的是:意图清楚、最终回答已被人审或业务规则判定为合格、角色完整、工具调用能对上 schema 的轮次。
- 必须丢掉或改写的是:含未脱敏身份证/手机/卡号、重复粘贴的宏、客服自己的错误承诺、当时模型的幻觉回复被当成金标、同一用户问题对应互相矛盾的处理口径。
- 先按会话或用户切分训练/验证/测试,不要按单轮随机切,否则同一投诉的前后句会泄漏。
- 缺字段、该转人工的对话要作为拒答或转交正例留下,而不是当噪声删光。
- 一条可用样本至少有:规范化后的角色序列、用户可见输入、期望助手输出、以及可选的工具观察。
- 数据流建议是:会话切分 → PII 扫描与哈希替换 → 近重复(simhash 或归一化后哈希)去重 → 规则过滤(空回复、全是「好的」、明显未完成)→ 冲突检测(相同用户文本、不同标准动作)→ 按会话 ID 分层抽样进 train/val/test。