新版本提前写入、旧版本只读到切换瞬间,失效回填还要限速扇出——整点政策一翻,大约 40% FAQ 键一起失效,70B prefill 被打满。这套双缓冲预热该怎么落地,才不会把上周政策继续当正确答案,也不会把整点打成一次全量冷启动?
题目
新版本提前写入、旧版本只读到切换瞬间,失效回填还要限速扇出——整点政策一翻,大约 40% FAQ 键一起失效,70B prefill 被打满。这套双缓冲预热该怎么落地,才不会把上周政策继续当正确答案,也不会把整点打成一次全量冷启动?
参考答案
点击展开参考答案
- 整点不是「删光四成键再让流量自己回填」,而是一次带截止的键空间切换。
- 切换秒之前用新政策版本把热点 FAQ 写进新键空间,读路径仍只命中旧键;整点把读指针翻到新空间,旧键立刻对用户不可见。
- 未预热到的那一截允许未命中,但 70B prefill 回填要有扇出上限,多出来的 FAQ 排队而不是同时进引擎。
- 这样旧政策不会在整点后还当正确答案,也不会在 00:00 把预填充队列打成全量冷启动。
- 设 FAQ 命中约占请求四成,整点政策版本从
v升到v+1,若键里带版本,四成键在同一秒变成未命中,70B 要为这些问句重新 prefill(系统提示 + 新政策全文往往是数千 token),连续批的 prefill 预算会被同一时刻的回填吃光,聊天 decode 跟着堵。 - 双缓冲:T−Δ 起后台作业按历史频率把 top 问句用
v+1生成(或只预填前缀 KV)写入新空间;写失败不得回落到把v的答案抄过去。