OOV(未登录词)问题在 BPE 下怎么处理?
题目
OOV(未登录词)问题在 BPE 下怎么处理?
参考答案
点击展开参考答案
- BPE 理论上没有真正的 OOV——任何字符串都可以拆成字节/字符级别的子词组合。
- 代价:罕见词会被拆成很多碎片 token,序列变长,模型对这个词的理解也会变差。
- 实际影响:(a) 专业术语、新词、人名地名经常被拆碎;(b) 模型对这些词的语义理解会打折扣。
- 缓解:(a) 领域微调时扩充领域词表;(b) 用 byte-level BPE 保证至少不会出现编码失败。
- 追问:为什么新出的网络热词模型理解不好?(答:因为这些词在训练时不存在或者极少,被拆成碎片 token,模型没有学到它的语义)