跳到主要内容

A100 的 80GB 规格、H100、还有 L40S,在同一机房既要扛高 QPS 的 13B 客服、又要偶尔接 70B 深度问答时,该如何混配而不是只采购单一型号?

Agent 性能优化中级性能优化

题目​

A100 的 80GB 规格、H100、还有 L40S,在同一机房既要扛高 QPS 的 13B 客服、又要偶尔接 70B 深度问答时,该如何混配而不是只采购单一型号?

参考答案​