不另训草稿,用当前已生成后缀 n-gram 去提示和前文里做字符串匹配,把命中处后面的片段交给目标模型验证。代码助手八成流量是根据 diff 改文件、闲聊几乎没有时,一天日志该如何用来选定 n、草稿长度,以及默认关掉哪类请求?
题目
不另训草稿,用当前已生成后缀 n-gram 去提示和前文里做字符串匹配,把命中处后面的片段交给目标模型验证。代码助手八成流量是根据 diff 改文件、闲聊几乎没有时,一天日志该如何用来选定 n、草稿长度,以及默认关掉哪类请求?
参考答案
点击展开参考答案
- n-gram 投机(提示查找)用当前已生成后缀在提示和前文里做字符串匹配,把命中处后面的若干 token 当作草稿,再交给目标模型一次验证。
- 没有第二套权重,未命中时额外成本接近一次空查找。
- 它吃的是「输出会大段复述或轻改上下文」的任务;开放闲聊几乎找不到真匹配。
- 用一天日志估命中率、命中后的平均接受长度、未命中时验证是否变贵,再决定 n、γ 和默认开关。
- 流程:取最后 n 个 token 为 s,在 prompt+output 里找 s,取随后 γ 个 token 做草稿,一次前向前缀验证。
- 贪心解码下接受最长一致前缀即可与原输出对齐;若要保持采样分布,仍需按目标/提议分布做接受与拒绝校正,不能只做「看起来像」。