跳到主要内容

周五要开服一套问答助手,高峰按同时 200 条在途请求来估,单次输入大约 2k token、输出大约 400 token。如何从「单卡可并行容纳多少 decode 槽位」倒推到卡数、队列与限额,而不是只抛平均 QPS?

Agent 工程化与运行环境中级成本

题目​

周五要开服一套问答助手,高峰按同时 200 条在途请求来估,单次输入大约 2k token、输出大约 400 token。如何从「单卡可并行容纳多少 decode 槽位」倒推到卡数、队列与限额,而不是只抛平均 QPS?

参考答案​