白天对话服务的 SLO 一点都不能让,而夜间那一万份摘要得在早上六点以前交差。可延期的时间窗口加上过往实测的 tokens/s,怎样拿来倒推夜班最晚几点开跑、要预留多少 GPU 小时,而不是另起一套对话优先、批量降级的排队规则?
题目
白天对话服务的 SLO 一点都不能让,而夜间那一万份摘要得在早上六点以前交差。可延期的时间窗口加上过往实测的 tokens/s,怎样拿来倒推夜班最晚几点开跑、要预留多少 GPU 小时,而不是另起一套对话优先、批量降级的排队规则?
参考答案
点击展开参考答案
- 把夜间摘要当成带硬截止的可延期作业:它可以使用「聊天到达率低于日间基线」的窗口,但不能借用白天为 SLO 锁住的槽位。
- 用近几周同窗口的有效 tokens/s(只计摘要池、且已扣除当时残留的聊天)去除这一万份的预估总 token,再乘安全系数,得到需要的墙钟;从 6:00 往回减,就是最晚开工时刻,同时锁定「预留 GPU 小时 = 墙钟 × 专属卡数」。
- 这是容量和开工闹钟问题,不是再发明一条优先级队列。
- 先估工作量:每份摘要输入+输出 token 用历史分位(不要用均值,p90 更接近截止风险),一万份总 token
W。 - 再估供给:专属摘要副本在可延期窗口内的历史有效 tokens/s
µ,窗口定义为聊天 QPS < 日间 p50 的一段时间(常见是 23:00–6:00 中的一段,以你自己的曲线为准)。