跳到主要内容

8 张 A100 上做 SFT,指令对的中位长度大约 180 token,最大长度 2048,一行一条样本时大约 70% 是 pad。把多条 (prompt, response) 拼进同一行时,因果注意力怎样按样本隔开,position id 为何每条从 0 重数,损失掩码盖住哪些 token,不做隔离的拼接会学到什么虚假条件,打包之后 tokens/sec 和 steps/sec 各怎么变,单条已经接近 2048 时又会坏在哪里?

模型选型与微调中级成本

题目​

8 张 A100 上做 SFT,指令对的中位长度大约 180 token,最大长度 2048,一行一条样本时大约 70% 是 pad。把多条 (prompt, response) 拼进同一行时,因果注意力怎样按样本隔开,position id 为何每条从 0 重数,损失掩码盖住哪些 token,不做隔离的拼接会学到什么虚假条件,打包之后 tokens/sec 和 steps/sec 各怎么变,单条已经接近 2048 时又会坏在哪里?

参考答案​