为什么扩展词表会影响模型效果?
题目
为什么扩展词表会影响模型效果?
参考答案
点击展开参考答案
- 扩展词表:在原有 tokenizer 基础上加新词,新 token 的 embedding 是随机初始化的,需要重新训练才能学好。
- 影响:(a) 新 embedding 没有先验知识,需要大量数据才能学到好的表示;(b) 扩展词表会增加 embedding 层和输出层的参数量;(c) 如果只加少量词,整体影响不大。
- 做法:(a) 新 token 用相近词的 embedding 初始化(warm start);(b) 扩展后继续预训练一段时间;(c) 不要一次加太多。
- 追问:为什么多语言模型词表都很大?(答:要覆盖多语言的字符/子词,中文、英文、其他语言加起来词表自然就大了;词表大了 embedding 层参数量也大)