流量没变,显卡监控也几乎一条直线,然而结构化输出约束一打开,p99 便从 800 毫秒窜到 3 秒。主机端每一步建词表掩码花的时间、logit 处理是否在 GPU 上、非法 token 被重新采样的次数——如何靠这三项查清约束带来的额外开销?随后是把 FSM 融进 kernel,还是先生成后校验?
题目
流量没变,显卡监控也几乎一条直线,然而结构化输出约束一打开,p99 便从 800 毫秒窜到 3 秒。主机端每一步建词表掩码花的时间、logit 处理是否在 GPU 上、非法 token 被重新采样的次数——如何靠这三项查清约束带来的额外开销?随后是把 FSM 融进 kernel,还是先生成后校验?
参考答案
点击展开参考答案
- GPU 利用率、HBM 带宽和 SM 占用几乎没变,说明多出来的 2 秒多半不在矩阵乘里,而在 decode 每步前后的约束路径上。
- 把一步拆成「GEMM → 取 logits → 词表 mask → 采样 / 拒绝重采」,分别量主机 mask 墙钟、logits 或 mask 的设备主机往返、以及每步非法 token 重采样次数;哪一项乘上输出长度能对上 800 ms→3 s,那一项就是约束税。
- 主机每步扫十万级词表或反复 D2H,就把 FSM 收进核内与采样融合;模型在低温度下本来就能出合法 JSON、拒绝率接近 0,就改成自由生成再校验,失败才重试。
- 约束解码的数据流是:当前前缀进入文法自动机(JSON 的括号栈、字符串转义、schema 字段状态)→ 得到本步合法 token 集合 → 非法位置 logits 置为 −∞ → softmax / argmax。
- 词表常见 32k–128k:若在主机上物化一张 dense mask,每步至少扫一遍词表;再乘连续批里的活序列数,很容易到数毫秒。