在 TPU Pod 上重做原本跑在 GPU 集群里的 70B 预训练:脉动阵列吃得下的是哪几类层?哪些写法会让 XLA 在编译期直接失败?
题目
在 TPU Pod 上重做原本跑在 GPU 集群里的 70B 预训练:脉动阵列吃得下的是哪几类层?哪些写法会让 XLA 在编译期直接失败?
参考答案
点击展开参考答案
- 稠密、静态形状的大 GEMM——QKV 投影、MLP、输出线性层——会吃到脉动阵列的高能效。
- 动态控制流、每步变长的序列、以及绑在 GPU 共享内存上的手写核,会在 XLA 编译期失败,或被降到向量单元上慢速执行。
- 迁移的前提是把图收成固定形状、用集体通信表达并行,而不是把“每步发射一串核”的 GPU 习惯原样搬过去。
- TPU 的核心是矩阵乘单元里的脉动阵列:权重预载到网格上的乘加单元,激活沿行列流动,部分和传给邻居,避免每次 MMA 都回写 HBM。
- 这对
[M,K]×[K,N]且 M、N 足够大的训练步很合适,70B 的稠密线性层能接近阵列峰值。