连续批处理想捕获图,但活序列条数和各序列页表长短每步都在变。可变页表怎样从静态 CUDA graph 里拆出去——用设备侧间接块表、按活序列数和页数分档做 padding、再准备一池预捕获图——才能既留下分页带来的并发,又不用每步重录图?
题目
连续批处理想捕获图,但活序列条数和各序列页表长短每步都在变。可变页表怎样从静态 CUDA graph 里拆出去——用设备侧间接块表、按活序列数和页数分档做 padding、再准备一池预捕获图——才能既留下分页带来的并发,又不用每步重录图?
参考答案
点击展开参考答案
- 图捕获要的是启动拓扑稳定,分页要的是每步块表和活序列数可变,两者不能编进同一份「把页号写死的图」。
- 图里只留「从设备指针读间接块表、再跑注意力 / GEMM」的静态壳,块表内容在每步 launch 前由主机或小核改写;活序列数和最大页数收成几档(例如 8/16/32/64 × 页数桶),每档一份预捕获图,不足的槽位 padding。
- 这样分页照样按真实 token 占槽,图只在档位未命中时才捕获一次,而不是每个 iteration 重录。
- 连续批每步可能 EOS 回收 3 路、新 prefill 插入 2 路,各序列的物理块列表也随 decode 追加一页。
- 若把当前块表地址当常量捕获进图,下一步指针一变图就作废,重捕获常见是数毫秒到数十毫秒,会直接吃掉 decode 步时。