跳到主要内容

16 条并发、每条 4K 上下文的客服 70B,要压进一张 80 GB 的卡。权重、KV、激活三本账摊开来,怎么论证会不会 OOM?

Agent 性能优化中级上下文

题目​

16 条并发、每条 4K 上下文的客服 70B,要压进一张 80 GB 的卡。权重、KV、激活三本账摊开来,怎么论证会不会 OOM?

参考答案​