跳到主要内容

金丝雀和回放门禁要同时盯住可持续吞吐、KV 与工作区显存、TTFT 分位、以及 temperature=0 下同提示的 token 序列,该怎么设?推理引擎小版本升级、发行说明里连分页 KV 块尺寸和调度默认值一并改了时,贪心输出对不上逐字,凭什么区分数值抖动与真回归并决定整包回不回滚?

Agent 性能优化中级成本规划

题目​

金丝雀和回放门禁要同时盯住可持续吞吐、KV 与工作区显存、TTFT 分位、以及 temperature=0 下同提示的 token 序列,该怎么设?推理引擎小版本升级、发行说明里连分页 KV 块尺寸和调度默认值一并改了时,贪心输出对不上逐字,凭什么区分数值抖动与真回归并决定整包回不回滚?

参考答案​