有人拿最贵的模型做翻译,月底结账才发现——六个产品组都是各用各的密钥直连供应商。把调用收进统一网关后,配额、审计、鉴权、别名路由分别归哪一层?网关绝不能长成什么?
题目
有人拿最贵的模型做翻译,月底结账才发现——六个产品组都是各用各的密钥直连供应商。把调用收进统一网关后,配额、审计、鉴权、别名路由分别归哪一层?网关绝不能长成什么?
参考答案
点击展开参考答案
- 网关做模型 I/O 的控制面:服务身份鉴权、把应用侧的模型别名映射到具体供应商和型号、按租户/应用执行次数-token-金额配额、统一脱敏日志与成本标签、以及失败转移。
- 业务提示编排、检索和工具循环留在各应用或编排服务里,网关不要长成第二个智能体运行时。
- 没有这层,密钥分散、单价不可见、翻译这种低价值流量也会打到最贵别名上。
- 请求进入:mTLS 或工作负载身份 → 应用 id / 租户 id → 别名解析(如
translate-small→ 指定小模型,reasoner→ 大模型)→ 配额与预算准入 → 可选脱敏 → 发出,带上组织侧密钥,应用拿不到供应商原钥。 - 别名是关键:团队禁止在代码里写死供应商型号名,换供应商或降级只改映射。