跳到主要内容

Prefill 与 Decode 的瓶颈为什么不同?何时考虑分离部署?(高级)

模型选型与微调高级工程化

题目​

Prefill 与 Decode 的瓶颈为什么不同?何时考虑分离部署?(高级)

参考答案​