特殊 token(如 <|im_start|>)的作用?为什么要加特殊 token?
题目
特殊 token(如 <|im_start|>)的作用?为什么要加特殊 token?
参考答案
点击展开参考答案
- 特殊 token 用途:(a) 控制对话格式(如 system/user/assistant 角色标记);(b) 表示起止(<|endoftext|>);(c) 填充(padding);(d) 掩码(mask)。
- 为什么需要:模型需要明确的信号来区分"谁说的话"、"什么时候结束";没有这些标记,模型不知道对话轮次的边界。
- 例子:LLaMA-3 的 <|start_header_id|>user<|end_header_id|> 标记用户输入的开始和结束;<|eot_id|> 表示这一轮说完了。
- 注意:特殊 token 不能被拆分,是原子单位;新增特殊 token 后需要扩展 embedding 层。
- 追问:新增特殊 token 为什么要扩展 embedding?(答:词表变大了,embedding 矩阵是 [vocab_size, hidden_dim],vocab 加了,矩阵行数也要加;新 token 的 embedding 随机初始化或用相邻 token 平均初始化)