开头若干 token 一旦滑出窗口,困惑度就飙升——流式 decode 只缓存最近 4k 的 KV。把这些位置永久钉住,数值稳定性为何能回来?
题目
开头若干 token 一旦滑出窗口,困惑度就飙升——流式 decode 只缓存最近 4k 的 KV。把这些位置永久钉住,数值稳定性为何能回来?
参考答案
点击展开参考答案
- Softmax 强制每个 query 的注意力权重加起来为 1。
- 预训练时模型学会:当前步若没有特别要看的内容,就把多余质量倒在因果掩码下始终可见的开头几个 token 上,这些位置变成注意力的蓄水池。
- 只留最近窗口时,蓄水池被环缓冲挤出,质量无处安放,分布塌缩,困惑度上升。
- 把开头少数 sink 的 KV 永久保留、再加上最近 W 个,数值稳定性会回来;被挤掉的中间段落仍然不可读,这不是把有效上下文变长了。
- 开头容易成为 sink,是因为从训练第一步起 BOS/首 token 对所有后续位置都可见,模型把它们当“默认槽”。
- 流式缓存于是拆成两段:固定前缀(例如只留 4 个 sink,数量作示意)+ 最近 W 的滑动段,中间历史丢弃。