跳到主要内容

发热墙大约 3 瓦、可用内存大约 6 GB,上云只有弱网,还要改写短信并总结通知。怎样在上下文窗、模型体积、以及 NPU 覆盖不足时回退 CPU 之间做取舍,从而既不把全精度 7B 硬塞进手机,也不把请求全部打回云端?

Agent 性能优化中级上下文

题目​

发热墙大约 3 瓦、可用内存大约 6 GB,上云只有弱网,还要改写短信并总结通知。怎样在上下文窗、模型体积、以及 NPU 覆盖不足时回退 CPU 之间做取舍,从而既不把全精度 7B 硬塞进手机,也不把请求全部打回云端?

参考答案​