断网的飞行模式里,这台手机上的助手仍得改本日日程,并把相册里那张收据讲清楚。哪些技能得常驻端侧?端上模型按什么规格选型?链路恢复后如何判断要不要回云?
题目
断网的飞行模式里,这台手机上的助手仍得改本日日程,并把相册里那张收据讲清楚。哪些技能得常驻端侧?端上模型按什么规格选型?链路恢复后如何判断要不要回云?
参考答案
点击展开参考答案
- 端侧先保住不连网也能完成的个人数据操作:改本地日历、检索相册和文件、听懂短指令。
- 解释收据若本地只有小视觉编码器,就出结构化字段和偏保守的说明,完整推理等用户同意后再回云。
- 常驻模型按内存和 NPU 分档:始终在线常见是量化后的 1B–3B 级;7B 的 4-bit 权重大约 3.5–4.5GB,加上 KV 和工作区,很多手机不适合当常驻。
- 路由看任务难度、是否要出域知识和当前网络,默认个人数据不出设备。
- 关键手段是权重量化、内存映射加载、把 decode 放到 GPU 或 NPU,CPU 只做编排。
- 电量和发热是隐藏预算:长 decode 要降频或改短答。