中文流偶尔冒出 U+FFFD,浏览器又憋到全文结束才渲染,尽管 decode 早已开始。从每个 token 产生到像素上屏,缓冲发生在哪一跳?跨 token 边界的多字节字符应当攒到什么粒度再下发?
题目
中文流偶尔冒出 U+FFFD,浏览器又憋到全文结束才渲染,尽管 decode 早已开始。从每个 token 产生到像素上屏,缓冲发生在哪一跳?跨 token 边界的多字节字符应当攒到什么粒度再下发?
参考答案
点击展开参考答案
- Decode 每步只新产生一个(或一小撮)token,流式的本意是 detokenize 后立刻推增量。
- 浏览器憋到最后,通常是 HTTP 链路上的代理、网关或框架把响应攒成完整 body,而不是模型在等。
- 中文里的 U+FFFD 是 UTF-8 被截在多字节中间:BPE token 不等于一个完整字符,服务端必须缓冲到合法码点(更好是完整字素簇)再写入 SSE/WebSocket 帧。
- 路径:sampler 产出 token id → detokenize 成字节 → 可选安全窗 → 按
data: {"text":"..."}\n\n写 SSE(或二进制 WS 帧)→ 经过网关/负载均衡/反向代理 → 浏览器 EventSource 拼接。 - Nginx 一类默认
proxy_buffering on,会等后端引擎结束或缓冲满;需关闭该缓冲、关掉应用层 gzip 对这条流的攒包,并把读超时放到生成时长量级(数十秒到数分钟),否则代理先断。