证件号夹在 prompt 里,输入会冲到 8k token,吞吐按 200 QPS。自托管引擎、混合路线、托管 API:各自强迫你亲自维护哪些模块?
题目
证件号夹在 prompt 里,输入会冲到 8k token,吞吐按 200 QPS。自托管引擎、混合路线、托管 API:各自强迫你亲自维护哪些模块?
参考答案
点击展开参考答案
- 托管 API:你养网关(鉴权、配额、重试、超时)、提示与输出过滤、证件号脱敏或合同内处理条款、降级与多供应商路由;不养 GPU 和推理内核,但把延迟、限流和数据出境交给对方。
- 自建:你还要养权重分发、推理引擎(连续批处理、KV、量化)、GPU 容量和故障替换;证件号可以不出域,但 8k 尖峰要你自己用前缀缓存和切块扛。
- 混合:日常走自建、溢出或更大模型走托管,必须统一请求 ID、统一计费和统一安全策略,否则排障会裂成两套真相。
- 200 QPS 不是 200 个 HTTP 连接就结束。
- 若平均约 2k 进 / 200 出,token 速率大约 200×2200 = 4.4×10⁵ token/s 量级,70B 级自建要按 decode 带宽和 KV 显存估卡,而不是按 Web QPS。