早高峰 TPM 先触顶,RPM 仍闲着半数,调用方已在吃 429。改走小模型、入队合并、就地准入或直接打回,凭什么迹象决定优先丢掉哪类调用?
题目
早高峰 TPM 先触顶,RPM 仍闲着半数,调用方已在吃 429。改走小模型、入队合并、就地准入或直接打回,凭什么迹象决定优先丢掉哪类调用?
参考答案
点击展开参考答案
- TPM 先满说明瓶颈是 token 吞吐量而不是请求个数,原样重试只会把窗口打得更满。
- 先在网关按预估 token 做准入:延迟或拒绝「输入已经很长、可异步的批量」,保住短交互和付费路径的剩余额度。
- 能合并的相同前缀或相同 FAQ 合成一次调用;实时路径在额度危急时切到更小模型或压缩上下文。
- 对用户返回明确的忙碌或降级状态,而不是让客户端无抖动地连打。
- 供应商限额通常是 RPM、TPM、并发请求三条独立水位,429 体里常带重试等待。
- TPM 满而 RPM 松,典型画像是 RAG 长提示、多轮把历史全塞进去,或一夜批量总结在早高峰和在线流量抢额度。