凌晨 3 点,售后对话机器人也得能把人喊醒。值得为之配寻呼的实时信号有哪四类,哪些所谓 LLM 指标只配挂在看板上充数?
题目
凌晨 3 点,售后对话机器人也得能把人喊醒。值得为之配寻呼的实时信号有哪四类,哪些所谓 LLM 指标只配挂在看板上充数?
参考答案
点击展开参考答案
- 值得 paging 的是:可用性(5xx、超时、供应商限流比例)、延迟 SLO 违约(TTFT / 词间延迟的 p99,按短/长请求分层)、安全与合规拦截异常(拦截率骤降比骤升更危险)、以及业务闭环断裂(工具失败率、格式或工单创建失败、人工接管飙升)。
- 装饰性的是:平均 tokens/s、没有对照的平均「满意度」、单独一张 GPU 利用率图、以及没有版本维度的质量分数——它们不回答「用户现在能不能办完事」。
- 监控要能在约五分钟内指向层:网关、检索、模型、工具。
- 请求量用来判断是流量尖峰还是依赖挂了;token 与成本做成小时预算告警,避免早上才发现烧穿。