跳到主要内容

你主张用最后一层特征训一层草稿网络、自回归预估下一拍隐状态再复用原 LM head,同事却觉得再挂几个解码头就够。哪些观测能证明,相比各头互不依赖,这样更划得来那几步串行开销?

Agent 性能优化中级工程化

题目​

你主张用最后一层特征训一层草稿网络、自回归预估下一拍隐状态再复用原 LM head,同事却觉得再挂几个解码头就够。哪些观测能证明,相比各头互不依赖,这样更划得来那几步串行开销?

参考答案​