药名被 tokenizer 拆成六七段、术语一扎堆就占掉半截上下文、分类分数往下掉。已收敛的权重能不能只往词表追加新行,还是先量化平均子词数再选改法?
题目
药名被 tokenizer 拆成六七段、术语一扎堆就占掉半截上下文、分类分数往下掉。已收敛的权重能不能只往词表追加新行,还是先量化平均子词数再选改法?
参考答案
点击展开参考答案
- 先统计术语的平均子词数(fertility)、它们占输入 token 的比例,以及把同一术语人为并成更短序列后任务是否回升,确认是切分问题而不是标签噪声。
- 已训完的模型不能只改 tokenizer:新 token 没有对齐的 embedding 和 LM head,需要初始化(例如子词向量平均)再继续预训练,或至少训开 embedding。
- 从零训领域词表切分最干净但成本最高;byte-level 没有 OOV,序列仍可能很长。
- 不改权重的做法是推理前把标准药名归一成已有的短序列,或把术语表放进检索。
- 中文药名、化学式、产品 SKU 在通用 BPE/Unigram 里往往没有整词,fertility=6~8 时,128 个术语就能吃掉近千 token,8k 窗口里有效句子被挤掉,分类器看到的是碎片共现而不是实体。
- 直接扩词表而不训,新行是随机或零向量,训练分布外,生成会把该 id 当噪声。