发热墙大约 3 瓦、可用内存大约 6 GB,上云只有弱网,还要改写短信并总结通知。怎样在上下文窗、模型体积、以及 NPU 覆盖不足时回退 CPU 之间做取舍,从而既不把全精度 7B 硬塞进手机,也不把请求全部打回云端?
题目
发热墙大约 3 瓦、可用内存大约 6 GB,上云只有弱网,还要改写短信并总结通知。怎样在上下文窗、模型体积、以及 NPU 覆盖不足时回退 CPU 之间做取舍,从而既不把全精度 7B 硬塞进手机,也不把请求全部打回云端?
参考答案
点击展开参考答案
- 端侧先是内存和热的问题,其次才是算力。
- 为短信改写和通知总结选任务体量的模型(常见是约 1B–3B,或内核真能跑起来的低比特 7B),上下文只留当前会话需要的窗口,而不是服务端那套超长上下文。
- 量化、蒸馏、缩短 KV(GQA、短窗)是可靠杠杆;NPU 图只有在算子全覆盖时才值得押。
- 长上下文、低置信、多语难例在无线电好时走云;用户拒绝上传或弱网时,本地至少给出抽取式回退。
- 账单是权重 + 激活 + KV + 系统/App。
- 7B FP16 约 14 GB,直接出局;7B 落到约 4-bit 后权重大约 3.5–4.5 GB 量级还要工作区,6 GB 预算会很紧;2B 级 INT8/INT4 才比较容易留下 2k–4k 上下文。