如何区分模型质量问题和普通软件缺陷?
题目
如何区分模型质量问题和普通软件缺陷?
参考答案
点击展开参考答案
- 先检查确定性链路:请求与角色是否构造正确、Prompt 是否按预期渲染、Schema 是否匹配、状态是否读错,以及索引版本、ACL、缓存、工具返回和超时处理是否异常。
- 固定输入、模型版本、采样参数和工具回放重复运行;若稳定在同一步复现,通常更像代码或配置缺陷,若随采样和语义边界波动,才更可能是模型质量问题。
- 再做组件替换与消融:更换模型但保留 Prompt,更换证据但保留模型,绕过缓存、检索改写或某个工具。
- 归因时记录首个偏离预期的 step 及证据,而非只看最终错误,并分别进入模型、Prompt、检索、工具或平台 owner 的回归集,避免把所有失败统称为“模型幻觉”。