跳到主要内容

聊天高峰把 embedding 打到 OOM。同一组 GPU 同时跑对话服务、embedding、夜间评测三个模型时,如何切显存配额,而不是再采购一排加速卡?

Agent 性能优化中级RAG评测

题目​

聊天高峰把 embedding 打到 OOM。同一组 GPU 同时跑对话服务、embedding、夜间评测三个模型时,如何切显存配额,而不是再采购一排加速卡?

参考答案​