你主张用最后一层特征训一层草稿网络、自回归预估下一拍隐状态再复用原 LM head,同事却觉得再挂几个解码头就够。哪些观测能证明,相比各头互不依赖,这样更划得来那几步串行开销?
题目
你主张用最后一层特征训一层草稿网络、自回归预估下一拍隐状态再复用原 LM head,同事却觉得再挂几个解码头就够。哪些观测能证明,相比各头互不依赖,这样更划得来那几步串行开销?
参考答案
点击展开参考答案
- 独立多头只从一张 h_t 快照跳着猜未来 token,第一步猜错后面全废。
- EAGLE 这类特征级方法用一个大约一层的草稿网络,吃目标特征序列和错开一位的已选 token 嵌入,自回归预测下一时刻隐状态,再复用冻结的 LM head 得到词分布。
- 每一步都条件于上一个草稿 token,平均接受长度通常更长,才能摊掉这几步廉价但串行的草稿计算。
- 在特征上预测往往比直接在十万级词表的远处位置上做 softmax 更稳:最后隐状态已经是 LM head 要读的连续摘要,回归 h_{t+1} 比凭空猜 t+4 的离散 token 平滑。
- 错开一位的 token 用来消采样不确定性——同一 h_t 可能走出不同词,不告诉草稿实际选了谁,它只能猜平均分支。