权重不再在运行时拼算子,改为先编出发射引擎再接流量;换一款架构不同的 NVIDIA 加速卡就得重编。编译步骤究竟把什么冻在「这张卡、这一代 Tensor Core」上,为何编好的引擎不能当普通权重检查点来拷贝?
题目
权重不再在运行时拼算子,改为先编出发射引擎再接流量;换一款架构不同的 NVIDIA 加速卡就得重编。编译步骤究竟把什么冻在「这张卡、这一代 Tensor Core」上,为何编好的引擎不能当普通权重检查点来拷贝?
参考答案
点击展开参考答案
- 编译把计算图定到「这张卡、这一代 Tensor Core、这组精度和并行切分」上:融合小算子、挑选调过的注意力与 GEMM 内核、插入量化缩放、规划分页 KV 和飞行中批处理的工作区。
- 引擎里是内核选择和共享内存布局,不是可移植的权重容器,所以换 SM 架构、换精度或改张量并行度都要重建。
- 收益是在对应 NVIDIA GPU 上少一次运行时的内核搜索和多余显存往返;代价是构建时间、硬件绑定,以及新模型结构往往要等编译器支持。
- 典型流程:读入权重 → 选定精度(例如 FP16 / FP8 / INT8 / INT4,以你实际编译器版本为准)和切分 → 构建引擎 → 交给运行时或推理服务器加载。
- 融合的常见对象是 QKV 投影与注意力、残差与归一化、解码循环里的采样周边小核,目的是减少中间张量的写回。