8 张 A100 上做 SFT,指令对的中位长度大约 180 token,最大长度 2048,一行一条样本时大约 70% 是 pad。把多条 (prompt, response) 拼进同一行时,因果注意力怎样按样本隔开,position id 为何每条从 0 重数,损失掩码盖住哪些 token,不做隔离的拼接会学到什么虚假条件,打包之后 tokens/sec 和 steps/sec 各怎么变,单条已经接近 2048 时又会坏在哪里?
题目
8 张 A100 上做 SFT,指令对的中位长度大约 180 token,最大长度 2048,一行一条样本时大约 70% 是 pad。把多条 (prompt, response) 拼进同一行时,因果注意力怎样按样本隔开,position id 为何每条从 0 重数,损失掩码盖住哪些 token,不做隔离的拼接会学到什么虚假条件,打包之后 tokens/sec 和 steps/sec 各怎么变,单条已经接近 2048 时又会坏在哪里?
参考答案
点击展开参考答案
- 一行里可以首尾相接多条样本,计算上仍是若干条独立短序列。
- 注意力做成块对角的因果 mask(实现上用 cu_seqlens 一类变长接口):样本 A 的 token 只能看见 A,不能看见 B,也不能把 pad 当内容。
- 每条样本的 position id 从 0 重新数,使第二条不会以位置 900 进入 RoPE。
- 纯 RoPE 的注意力内积只依赖位置差,样本内部做同一个常数平移时相对关系还在;但线上新请求从 0 开始,YaRN、NTK、按绝对下标查的 cos/sin 表都读绝对位置,训练相位必须和推理一致。
- 用两条各 180 token 的样本把边界写死。
- A:prompt 100 + 回复 80。