跳到主要内容

开头若干 token 一旦滑出窗口,困惑度就飙升——流式 decode 只缓存最近 4k 的 KV。把这些位置永久钉住,数值稳定性为何能回来?

模型选型与微调中级成本

题目​

开头若干 token 一旦滑出窗口,困惑度就飙升——流式 decode 只缓存最近 4k 的 KV。把这些位置永久钉住,数值稳定性为何能回来?

参考答案​