如何设计 LLM Gateway?
题目
如何设计 LLM Gateway?
参考答案
点击展开参考答案
- LLM Gateway 是模型控制与数据平面,不是简单反向代理。
- 设计前先明确租户数、模型供应商、峰值 QPS/TPM、流式协议、数据地域、可用性、TTFT/P99、成本和合规要求。
- 提供统一 Chat/Responses/Embedding 接口和内部规范化 IR;认证后从服务端注入租户、用户、任务风险和预算。
- 校验消息、Tool Schema、上下文上限和输出格式,生成
request_id并传播 deadline、取消和 trace。 - 流式事件统一成
delta/tool_call/usage/error/completed,断线或客户端背压不能无限占用上游连接。 - Registry 记录供应商/区域、模型版本、上下文、Tool/JSON/视觉能力、价格、速率限制、数据保留和健康状态。
- Router 先过滤能力与合规,再按任务质量、风险、延迟、配额、成本、地域和实验桶选择;同一会话或 run 可粘滞,避免中途模型语义变化。