面向公众的聊天产品即将上线,预训练已经结束。后训练阶段、安全闸门、推理集群三条线上,各自允许放量的判定条件分别是什么?
题目
面向公众的聊天产品即将上线,预训练已经结束。后训练阶段、安全闸门、推理集群三条线上,各自允许放量的判定条件分别是什么?
参考答案
点击展开参考答案
- 训练侧把通用语言模型收成可对话、可拒答的产品模型:用清洗过的示范做监督微调,再用偏好数据做 DPO 或 RLHF 一类对齐,并单独跑安全与红队集。
- 服务侧不是把 checkpoint 挂上就结束——网关做鉴权限流计费,对话服务管会话、系统提示和输出过滤,推理集群用连续批处理、KV cache 和量化把 prefill 与 decode 分开扩。
- 放量要三条同时过线:离线安全/质量集达标、小流量对照的拒答与投诉不恶化、P95 首 token 和每 token 延迟在预算内;训练 loss 还在降不能当放量理由。
- 数据流是基座语料去重并滤低质有害内容,SFT 把问→答格式写进权重,偏好对齐改排序而不是只模仿示范,安全训练和分类器挡越狱与违规补全。
- 分布式训练用数据/张量/流水线并行,检查点必须能从失败 rank 续跑,否则一次节点故障会吞掉数小时步进。