有人想把若干轻量解码头接到最后隐状态上并行猜后面的 token,再靠候选树一次前向验证,因为 70B 已经把加速卡吃满、运维不同意再驻留一份 7B 草稿。各头接受率随位置怎么掉、部署成本和独立草稿模型怎么比?
题目
有人想把若干轻量解码头接到最后隐状态上并行猜后面的 token,再靠候选树一次前向验证,因为 70B 已经把加速卡吃满、运维不同意再驻留一份 7B 草稿。各头接受率随位置怎么掉、部署成本和独立草稿模型怎么比?
参考答案
点击展开参考答案
- Medusa 这类多头投机复用目标模型在 t 时刻的最后隐状态 h_t,每个头独立预测 t+2、t+3… 的分布,不必再驻留一套完整小模型。
- 主干仍负责真正的下一个 token;随后用树注意力在一次前向里验证整棵候选树,按接受规则留下最长前缀。
- 部署成本主要是几块小矩阵,而不是第二份权重和它的 KV。
- 更远的头看不到前面头实际采出的 token,接受率会随位置掉下去,所以树宜浅、前几层才值得加宽。
- 关键限制是条件独立性:第 k 个头只看见 h_t,不看见已猜的 t+1…t+k−1。
- 前面一旦猜偏,后面的头等于在错误前缀上发言。