跳到主要内容

怎样用参数量和位宽说明 16GB 笔记本根本塞不进名义上 70B 的开源 checkpoint,并讲普通硬件上的推理引擎如何靠量化与 mmap 把真正能跑的那一档拉起来?

Agent 性能优化中级规划

题目​

怎样用参数量和位宽说明 16GB 笔记本根本塞不进名义上 70B 的开源 checkpoint,并讲普通硬件上的推理引擎如何靠量化与 mmap 把真正能跑的那一档拉起来?

参考答案​