跳到主要内容

连续批处理想捕获图,但活序列条数和各序列页表长短每步都在变。可变页表怎样从静态 CUDA graph 里拆出去——用设备侧间接块表、按活序列数和页数分档做 padding、再准备一池预捕获图——才能既留下分页带来的并发,又不用每步重录图?

Agent 性能优化中级性能优化

题目​

连续批处理想捕获图,但活序列条数和各序列页表长短每步都在变。可变页表怎样从静态 CUDA graph 里拆出去——用设备侧间接块表、按活序列数和页数分档做 padding、再准备一池预捕获图——才能既留下分页带来的并发,又不用每步重录图?

参考答案​