跳到主要内容

一次 registry 拉取要 40 s,13B 早高峰前要从 2 扩到 12。节点本地命中、机房二次分发、运行时层与权重层分离的增量层该怎么铺,分段计时又如何证明冷启动瓶颈已经从拉权重挪到把权重装进 GPU,且扩缩触发器仍走原曲线、首 token 仍要落进 2 秒?

Agent 性能优化初级成本

题目​

一次 registry 拉取要 40 s,13B 早高峰前要从 2 扩到 12。节点本地命中、机房二次分发、运行时层与权重层分离的增量层该怎么铺,分段计时又如何证明冷启动瓶颈已经从拉权重挪到把权重装进 GPU,且扩缩触发器仍走原曲线、首 token 仍要落进 2 秒?

参考答案​