7B 档会话每天约 200 万次,夜里几乎空转。买按 token 计费的托管接口,对比预留自有 GPU:自建要从多高有效利用率起才更省,哪些成本科目经常被忘掉?
题目
7B 档会话每天约 200 万次,夜里几乎空转。买按 token 计费的托管接口,对比预留自有 GPU:自建要从多高有效利用率起才更省,哪些成本科目经常被忘掉?
参考答案
点击展开参考答案
- 自建便宜的条件是「按峰值配好的卡,在全天里的有效利用率」足够高,而不是日请求次数看起来大。
- 日间高峰要按峰值配卡,夜间空转把日均利用率打下去;只有(高峰容量 × GPU 单价 + 人力 + 备援)低于同期按 token 的账单,且你能吃下运维和合规成本时,自建才赢。
- 两百万次若挤在大约八小时,真实卡时往往只有「按日均估」的一小半被用满,盈亏拐点会比直觉更靠后。
- 示意账(数字只供面试推演,不是某家报价):假设每次 800 输入 + 200 输出 = 1000 token,日均约 2×10⁹ token。
- 托管按每百万 token 零点几到数美元量级计,月账单会落在数千到数万美元这个数量级。