怎样用参数量和位宽说明 16GB 笔记本根本塞不进名义上 70B 的开源 checkpoint,并讲普通硬件上的推理引擎如何靠量化与 mmap 把真正能跑的那一档拉起来?
题目
怎样用参数量和位宽说明 16GB 笔记本根本塞不进名义上 70B 的开源 checkpoint,并讲普通硬件上的推理引擎如何靠量化与 mmap 把真正能跑的那一档拉起来?
参考答案
点击展开参考答案
- 先算权重体积:
参数量 × 位宽 / 8,再留出操作系统、KV 和运行时。 - 70B 在 16 位下约 140GB,4 位下仍约 35GB,2 位也多在 20GB 量级,16GB 机器装不下 70B,应改选 7B/8B 或 13B 这一档。
- 对能装下的模型,把权重量到 4–8 bit、打成单文件,用内存映射按页fault 进来而不是启动时整文件读入,再用 SIMD 多线程和可选的部分层 GPU 卸载,才能在笔记本上给出可交互的逐 token 速度。
- 示意:13B × 4 bit ≈ 6.5GB 权重,加上几 GB 的 KV 和系统,16GB 机器可以对话;70B × 4 bit ≈ 35GB,映射再聪明也会在工作集铺开后开始换页,decode 会卡成不可用。
- decode 每步几乎都要把用到的权重读一遍,瓶颈是内存带宽,所以降位宽既缩小体积又提高每秒能读完的参数量。