一次 registry 拉取要 40 s,13B 早高峰前要从 2 扩到 12。节点本地命中、机房二次分发、运行时层与权重层分离的增量层该怎么铺,分段计时又如何证明冷启动瓶颈已经从拉权重挪到把权重装进 GPU,且扩缩触发器仍走原曲线、首 token 仍要落进 2 秒?
题目
一次 registry 拉取要 40 s,13B 早高峰前要从 2 扩到 12。节点本地命中、机房二次分发、运行时层与权重层分离的增量层该怎么铺,分段计时又如何证明冷启动瓶颈已经从拉权重挪到把权重装进 GPU,且扩缩触发器仍走原曲线、首 token 仍要落进 2 秒?
参考答案
点击展开参考答案
- 扩缩触发器可以仍按原曲线在高峰前加到 12,但新副本的关键路径不能再包含 40 s 的 registry 拉取。
- 把权重镜像做成节点本地命中、机房内二次分发、以及「基础运行时层与权重层分离」的增量层,使拉镜像降到秒级或零。
- 用分段计时证明:
registry_fetch从约 40 s 掉到接近 0,而h2d_weights + first_forward成为新的主导且合计能进 2 秒;若拉取仍在关键路径上,缓存就还没做成。 - 13B BF16 权重大约 26 GB。
- 冷启动原来常是:registry 走共享出口拉 26 GB(约 40 s 对得上大约 0.6–1 GB/s 的远端)→ 解层 → 进程起来 → 把张量拷进 HBM → 第一次 prefill。