随机遮盖 15% 位置来取代 next-token 预训练之后,模型为何更适合当句编码器,却几乎没法做流式对话?
题目
随机遮盖 15% 位置来取代 next-token 预训练之后,模型为何更适合当句编码器,却几乎没法做流式对话?
参考答案
点击展开参考答案
- 随机掩码让被遮位置看见左右上下文,学到的是双向填空,池化后的句向量对对称相似度任务更合适。
- 聊天要的是 p(x_t | x_<t) 的因果分解,并且能一个 token 一个 token 往外吐;掩码目标没有这条链,强行生成只能反复“选位置、填掩码、再掩”,不能流式。
- 换预训练目标等于换注意力掩码和输出头的形状,不是换一层皮。
- 自回归:输入 [t₀ … t_{n−1}],目标 [t₁ … t_n],因果掩码,每个位置都有损失,一次前向监督密度高。
- 掩码语言建模:典型随机抽约 15% token 换成 mask / 随机 / 原词,只在这些位置算损失,每个预测吃满双向上下文。