值班脚本见内容安全拒答就当故障并自动重放原文到策略更松的备用;主模型给的并不是 429。按失败类别给 fallback 链分叉,怎样既不绕开安全、又保住真限流逃生,并让审计点名走过哪一枝?
题目
值班脚本见内容安全拒答就当故障并自动重放原文到策略更松的备用;主模型给的并不是 429。按失败类别给 fallback 链分叉,怎样既不绕开安全、又保住真限流逃生,并让审计点名走过哪一枝?
参考答案
点击展开参考答案
- 先把失败分成运输类和策略类,禁止用「不是一次正常 completion」当唯一开关。
- 429 / 503 / 超时:尊重
Retry-After后重试主模型,再切备用,但备用必须套同一套输入输出安全策略,不得因为是逃生路径就摘掉过滤。 - 内容安全拒绝(例如
finish_reason=content_filter,或带政策码的 4xx):这是策略办结,原样返回拒答,禁止把同一输入重放到更松的模型。 - 审计每跳写下
failure_class、hop、policy_bundle_id、是否重放了原文,安全类之后若仍出现 hop,直接当事故。 - 值班脚本的典型漏洞是
if not ok: fallback(backup)——安全拒绝经常是 HTTP 200 加过滤结束原因,或 400 带稳定错误码,两者都不是限流。 - 分支表要写进编排器而不是 wiki:①运输类(429、网关超时、连接重置)→ 抖动退避 → 主模型有限次 → 备用;②策略类(内容过滤、拒答模板、本地输入分类器命中)→ 终止,用户看到主路径的拒答文案和原因码;③schema / 工具参数坏 → 只允许对同一模型做带错误路径的有限修复,不准 hop 到「更会配合」的弱安全模型;④供应商 5xx → 可切备用,但请求仍先过你自己的输入政策,响应再过输出政策。