Speculative Decoding 的原理是什么?
题目
Speculative Decoding 的原理是什么?
参考答案
点击展开参考答案
- 问题:大模型 Decode 阶段逐 token 生成,每步都要跑一次完整 forward pass,内存带宽是瓶颈。
- 思路:用一个小的"草稿模型"(draft model)快速生成 k 个候选 token;然后大模型一次并行验证这 k 个 token 是否合理;接受匹配的部分,拒绝的位置重新采样。
- 效果:如果草稿模型质量不错(接受率高),可以把 Decode 速度提升 2~3 倍,且输出分布和大模型完全一致(无损)。
- 变体:Medusa(在大模型上加多个头并行预测多个 token)、EAGLE(用特征层做草稿)。
- 追问:Speculative Decoding 会改变输出结果吗?(答:不会——验证阶段保证最终输出和大模型逐 token 采样的分布完全一致,是无损加速)
- 追问:草稿模型怎么选?(答:一般选同系列的小模型,如 7B 作为 70B 的草稿;接受率和草稿模型质量正相关)