金丝雀放新权值刚满两小时,拒答比例翻了一番。磁盘里仍有旧检查点,可配对提示、量化设定以及 tokenizer 已跟到新版。回退要一并拉回哪些东西,才算重新可服务?
题目
金丝雀放新权值刚满两小时,拒答比例翻了一番。磁盘里仍有旧检查点,可配对提示、量化设定以及 tokenizer 已跟到新版。回退要一并拉回哪些东西,才算重新可服务?
参考答案
点击展开参考答案
- 只把权重文件指回旧 checkpoint 不够。
- 一次可工作回滚要恢复整包:权重、tokenizer / 词表、chat template、量化位宽与 kernel、默认生成参数,以及声明兼容的提示版本;RAG 场景还要 embedding 模型和索引读指针。
- 灰度开始前就应有「上一包完好」的热副本或可在数分钟内拉起的镜像,流量指针整包切换。
- 缺任一件,表面上「模型回旧了」,输入编码或指令模板仍按新包走,拒答或乱码会留下。
- 版本清单是一份不可变清单,例如
model_id=acc_7b_2026w12,列出文件摘要、tokenizer JSON 哈希、quant=awq-4bit、rope/max_seq、配套prompt_id和embedder_id。 - 发布时新包在独立副本池加载,旧包继续服务;灰度只切路由权重。