跳到主要内容

单卡工作集在 70B 压到 INT4 之后仍然装不下。什么时候才必须跨卡切开模型,而不是再压精度或换更小的网?

Agent 性能优化中级性能优化

题目​

单卡工作集在 70B 压到 INT4 之后仍然装不下。什么时候才必须跨卡切开模型,而不是再压精度或换更小的网?

参考答案​