跳到主要内容

GPU 利用率看着不差,每分钟完成数却远差于压测。怎样确认是最长那条回复把整批钉死?聊天接口用固定 batch,凑满 8 条才一起 decode。改成每个 iteration 准入和退出之后,多出来的吞吐从何处来?

Agent 性能优化中级性能优化

题目​

GPU 利用率看着不差,每分钟完成数却远差于压测。怎样确认是最长那条回复把整批钉死?聊天接口用固定 batch,凑满 8 条才一起 decode。改成每个 iteration 准入和退出之后,多出来的吞吐从何处来?

参考答案​