P95 只剩 400ms 给护栏时,工具权限闸、入站分类、出站策略核验怎么分配?哪些动作必须等出站扫描结束才吐首 token?
题目
P95 只剩 400ms 给护栏时,工具权限闸、入站分类、出站策略核验怎么分配?哪些动作必须等出站扫描结束才吐首 token?
参考答案
点击展开参考答案
- 预算优先砸在不可逆动作上:工具权限闸是同步硬门,几乎不占模型时间,必须先做。
- 输入侧用规则加小分类器挡住明显越权、注入和超长请求,示意 20–80ms,避免把垃圾打进大模型。
- 输出侧按风险分流:闲聊可以流式先出、中途切断;转账、外发、医疗建议、代码执行必须全缓冲,扫完再放行。
- 400ms 不够串行跑两个大裁判模型,重裁判留给高风险队列或异步。
- 护栏是策略执行,对齐训练替代不了。
- 输入链:鉴权与配额 → 长度和附件类型限制 → 轻量注入/越狱分类 → 路由。