模型选型与微调如何做灰度实验和效果分析?本页总览如何做灰度实验和效果分析?模型选型与微调中级模型选型与微 题目 如何做灰度实验和效果分析? 参考答案 点击展开参考答案 实验按用户或会话稳定哈希分桶,避免同一长任务跨版本;上线前定义主指标、护栏、样本量和最小观察期。 主指标可用任务成功率/解决率,护栏包括安全事件、错误动作、人工接管、P99 和每成功任务成本。 检查 SRM、埋点一致性、同期模型/知识/流量变化,并按场景和难度分层。 Agent 非确定性强,离线需重复运行,线上用配对或稳定分桶;结论同时报告绝对变化、置信区间和实际效应大小。