流式 token 正在推给用户。过滤毒性与证件号要落在哪一拍,才不会让半句违规先闪上屏,同时首字节延迟不被拖垮?
题目
流式 token 正在推给用户。过滤毒性与证件号要落在哪一拍,才不会让半句违规先闪上屏,同时首字节延迟不被拖垮?
参考答案
点击展开参考答案
- 不要等整段生成结束再审——首包会变成整段墙钟,流式没有意义;也不要逐 token 审完立刻转发——分类器在半词、半句上既慢又瞎,而且来不及撤回已经画出的字。
- 按句或按固定 token 窗(示意:一句,或约 8–20 个 token)缓冲,窗内跑证件号/卡号规则加分类器,通过才冲刷给客户端;命中则吞掉该窗、改写或切断,并且不要先渲染再删除。
- 证件号这类高确信规则可以用更短窗;毒性等语义类用整句窗。
- 数据流是 decode → 输出缓冲 → 同步规则(通常远小于 1ms 到数毫秒)→ 分类器(示意:数毫秒到数十毫秒)→ 通过则经 SSE 或 WebSocket 发送。
- 缓冲引入的额外延迟 ≈ 窗长对应的生成时间 + 分类器时间;窗太长,用户觉得顿一下才出一段;窗太短,假阳性和假阴性都升。