自建推理还不能丢掉会话:embedding 的索引必须重建,权值由 8-bit 换成新版 4-bit。双轨、影子观测、翻转读侧指针按何次序排期,哪一环出错必须马上撤回?
题目
自建推理还不能丢掉会话:embedding 的索引必须重建,权值由 8-bit 换成新版 4-bit。双轨、影子观测、翻转读侧指针按何次序排期,哪一环出错必须马上撤回?
参考答案
点击展开参考答案
- 先在新副本池加载 4-bit 包并做影子,再金丝雀切生成流量,索引单独做「双写或离线重建 → 校验 → 原子切读指针」,旧 8-bit 池和旧索引一直可回退。
- 影子阶段只比质量、延迟和安全,不改用户可见输出;影子失败不准进金丝雀。
- 读指针切完若召回或延迟恶化,指针立刻打回旧索引,生成模型不必绑死一起回滚,除非两者被声明为一包。
- 顺序:①新 GPU 池加载 4-bit 权重、匹配的 tokenizer 与 kernel,就绪探针通过;②影子:把真实请求复制到新池,比较格式合规、关键槽位、拒答、TTFT/TPOT,差异入日志,用户仍只看旧池;③生成金丝雀 1%→10%→50%,会话可粘滞到同一包,避免一轮用 8-bit、下一轮用 4-bit 造成工具 JSON 风格断裂;④索引:用同一语料和新 embedding(若 embedding 没变则只需量化侧)离线建新库,抽样对旧库做近邻重叠和业务探针;⑤读指针一次切换,写路径若需要可双写缓冲;⑥旧池在观察窗口后退役。
- 量化变更常见风险是数学/长尾能力悄悄掉点,影子必须含这些切片,不能只看困惑度。