客户合约中,销售写上了「首 token 3 秒内到达、整段回复 15 秒内结束」。哪些量必须变成可测的服务质量度量;业务对错的哪些含义,绝不能跟可用性挤在同一条款?
题目
客户合约中,销售写上了「首 token 3 秒内到达、整段回复 15 秒内结束」。哪些量必须变成可测的服务质量度量;业务对错的哪些含义,绝不能跟可用性挤在同一条款?
参考答案
点击展开参考答案
- 合同要拆成:按输出长度分桶的端到端时延、首 token 时延、超时与 5xx/429 定义的可用性、以及「完成且满足时延」的有效吞吐。
- 3 秒应对齐 TTFT,15 秒必须写明最大输出长度或按 token 计的时间,否则长答会合法超标。
- 事实是否正确、检索是否召回、用户是否满意,不能写进同一条可用性:它们依赖离线集和抽样审核,实时探测无法判定,混在一起会逼着系统拒答保「正确」或把幻觉算作成功。
- 建议的可测集合:可用性(在约定超时内返回最终状态,安全拦截要单独计数,不要和引擎故障混成一个错误率);TTFT 的 p50/p95/p99;按输出长度分桶的整段时延或每输出 token 时间;schema/工具失败率;token 与费用。
- 质量另立 SLO:任务成功率、引用可回源率、人工升级率,用金样和周抽样,而不是用拨测脚本。