两个字被收回,是因为投机草稿还没被目标模型核过就被送到了前端浏览器。吐出边界该改成只放出已被接受的前缀,还是先攒着再一次性刷出?缓冲又会让用户感知的 TPOT 变差多少?前提是不调草稿长度、也不关闭投机。
题目
两个字被收回,是因为投机草稿还没被目标模型核过就被送到了前端浏览器。吐出边界该改成只放出已被接受的前缀,还是先攒着再一次性刷出?缓冲又会让用户感知的 TPOT 变差多少?前提是不调草稿长度、也不关闭投机。
参考答案
点击展开参考答案
- 撤回是发送边界错了:流式通道把「草稿猜想」当成了「已对用户承诺的文本」。
- 把套接字边界改到目标模型接受之后——要么逐步只 flush 已接受前缀,要么在网关按验证窗缓冲、整窗接受再一次刷出。
- 感知 TPOT 变成「验证周期 / 该窗接受个数」,平均值仍是投机后的有效间隔,代价是窗口内的停-走抖动,而不是平均变慢一倍。
- 不要用缩短草稿或关掉投机来掩盖一次回删;那是在改提议器经济学,不是改交付契约。
- 投机循环是:草稿先写 γ 个 token → 目标一次前向按位置接受最长前缀 k̄(含 bonus)→ 拒绝点之后的草稿作废。
- 若 HTTP/WebSocket 在草稿阶段就
data:出去,拒绝点落在用户已经看见的第 2 个字,前端必须发删除或整段重绘,中文还会碰到一个字跨两个 token、撤回「两个字」其实是一个字加半个后续。