内部只拿 5% 租户试新 RAG 策略,开关却只绑定「换上新模型」;prompt、索引版次与工具授权并未同步翻转,对照因而作废。AI 发布用的 flag 必须罩住哪些维度,紧急切断又该一并扳倒哪几根?
题目
内部只拿 5% 租户试新 RAG 策略,开关却只绑定「换上新模型」;prompt、索引版次与工具授权并未同步翻转,对照因而作废。AI 发布用的 flag 必须罩住哪些维度,紧急切断又该一并扳倒哪几根?
参考答案
点击展开参考答案
- 一条 AI flag 必须指向一整束可兼容配置:模型别名、提示版本、索引/embedding 版本、工具白名单、解码参数和护栏策略,外加分流键(租户、用户哈希、百分比)。
- 只切模型、对照臂仍吃新提示或新索引,两边差的就不是「新 RAG」,实验作废。
- 紧急关闭要一次切回上一束,而不是只把模型布尔量拨回去、留下新工具权限。
- 求值发生在编排器组好模型请求之前:读租户/用户身份 → 算粘滞哈希 → 命中则取出 bundle_id → 用 bundle 里的版本去拉提示、路由模型和选索引。
- 粘滞保证同一用户在实验期内不来回跳,否则多轮对话和 A/B 同时失效。