跳到主要内容

白天对话服务的 SLO 一点都不能让,而夜间那一万份摘要得在早上六点以前交差。可延期的时间窗口加上过往实测的 tokens/s,怎样拿来倒推夜班最晚几点开跑、要预留多少 GPU 小时,而不是另起一套对话优先、批量降级的排队规则?

Agent 性能优化中级成本

题目​

白天对话服务的 SLO 一点都不能让,而夜间那一万份摘要得在早上六点以前交差。可延期的时间窗口加上过往实测的 tokens/s,怎样拿来倒推夜班最晚几点开跑、要预留多少 GPU 小时,而不是另起一套对话优先、批量降级的排队规则?

参考答案​