谁管拉模型、谁管配方文件、谁管聊天模板、谁管真正的矩阵乘?内网二十人要一条命令切换模型、并以兼容 HTTP 口调调用时,这层本地运行时碰到多大并发就该把位置让给专用服务引擎?
题目
谁管拉模型、谁管配方文件、谁管聊天模板、谁管真正的矩阵乘?内网二十人要一条命令切换模型、并以兼容 HTTP 口调调用时,这层本地运行时碰到多大并发就该把位置让给专用服务引擎?
参考答案
点击展开参考答案
- 拆成四层:后台守护进程管生命周期和兼容 HTTP 口;拉取层按层下载并做本地缓存;配方文件声明基础权重、系统提示、采样参数和聊天模板,保证同一名字对全组员是同一行为;真正的矩阵乘和量化内核交给本地推理库。
- 二十人轮流单会话通常够用;一旦同时十几路长上下文、或要分页 KV 和连续批处理吃满 GPU,就应把「便利封装」换成专用服务引擎,而不是继续加机器复制这份桌面运行时。
- 用户发出「运行某名字」时:守护进程看本地缓存是否已有该标签 → 没有则按层拉取 → 按配方拼出系统提示和模板 → 按机器探测把能放下的层放到 GPU,其余留在 CPU → 空闲一段时间后卸载,避免笔记本常驻占满内存。
- 兼容口调只保证消息数组和流式字段能对上常用客户端,不保证和托管 API 的工具调用、logit bias 行为逐项一致。