跳到主要内容

升至 5000 rps 后检索率先超时、GPU 队列接着被灌满。100 rps 压测下同步聊天路径本还能稳住。扩副本、打开连续批、把非交互步骤挪出同步链,三者该怎么取舍?

Agent 工程化与运行环境中级RAG

题目​

升至 5000 rps 后检索率先超时、GPU 队列接着被灌满。100 rps 压测下同步聊天路径本还能稳住。扩副本、打开连续批、把非交互步骤挪出同步链,三者该怎么取舍?

参考答案​