跳到主要内容

新版本提前写入、旧版本只读到切换瞬间,失效回填还要限速扇出——整点政策一翻,大约 40% FAQ 键一起失效,70B prefill 被打满。这套双缓冲预热该怎么落地,才不会把上周政策继续当正确答案,也不会把整点打成一次全量冷启动?

Agent 性能优化中级性能优化

题目​

新版本提前写入、旧版本只读到切换瞬间,失效回填还要限速扇出——整点政策一翻,大约 40% FAQ 键一起失效,70B prefill 被打满。这套双缓冲预热该怎么落地,才不会把上周政策继续当正确答案,也不会把整点打成一次全量冷启动?

参考答案​