函数中段空缺,前后都已写好。逐步把掩码揭开,为何可能比自回归往下写更省事?长度预估一旦偏了,收场办法是什么?
题目
函数中段空缺,前后都已写好。逐步把掩码揭开,为何可能比自回归往下写更省事?长度预估一旦偏了,收场办法是什么?
参考答案
点击展开参考答案
- 从左到右的生成默认只能在末尾接龙;要填中间,通常得拿掉后缀再重写,或专门训“前缀-后缀-中间”格式。
- 掩码扩散把每个输出位置看成可并行去噪的槽位:已知 token 保持不动,未知位置从掩码出发,每步同时预测所有掩码位,留下高置信结果,对其余位置继续去噪。
- 左右上下文作为同一条序列上的条件,不必先破坏后缀。
- 前向过程逐步把离散 token 换成掩码(或转入吸收态),反向模型学的是“在当前部分可见序列下,被掩码位是什么”。
- 推理步数 T 是独立旋钮:T 小则快而粗,T 大则反复精修,这和自回归“步数等于输出长度”不同。