跳到主要内容

流量没变,显卡监控也几乎一条直线,然而结构化输出约束一打开,p99 便从 800 毫秒窜到 3 秒。主机端每一步建词表掩码花的时间、logit 处理是否在 GPU 上、非法 token 被重新采样的次数——如何靠这三项查清约束带来的额外开销?随后是把 FSM 融进 kernel,还是先生成后校验?

Agent 性能优化中级成本

题目​

流量没变,显卡监控也几乎一条直线,然而结构化输出约束一打开,p99 便从 800 毫秒窜到 3 秒。主机端每一步建词表掩码花的时间、logit 处理是否在 GPU 上、非法 token 被重新采样的次数——如何靠这三项查清约束带来的额外开销?随后是把 FSM 融进 kernel,还是先生成后校验?

参考答案​