跳到主要内容

部署 70B 模型:4 张卡把每一层张量切开并行,对比起 4 个完整副本,首 token 延迟谁更低,整个集群的吞吐又是谁更高?

Agent 性能优化中级成本工程化

题目​

部署 70B 模型:4 张卡把每一层张量切开并行,对比起 4 个完整副本,首 token 延迟谁更低,整个集群的吞吐又是谁更高?

参考答案​