一次失败的差旅行程,记录里只剩最终 HTTP 200 加上回复正文;同时周成本翻倍、成功率约掉 4 个点。埋点如何用来区分供应商接口变慢与模型乱调用?还少了哪些跨度?
题目
一次失败的差旅行程,记录里只剩最终 HTTP 200 加上回复正文;同时周成本翻倍、成功率约掉 4 个点。埋点如何用来区分供应商接口变慢与模型乱调用?还少了哪些跨度?
参考答案
点击展开参考答案
- 缺的是一棵按任务串起来的轨迹树,不是接入层的成功状态码。
- 至少要把“用户目标 → 每一步提示与模型输出 → 工具名/参数/返回/重试 → token 与墙钟 → 外部 HTTP”做成父子跨度。
- 成本翻倍先看每任务 token 和工具次数是否暴涨、是否循环;成功率下跌看工具错误率和卡在哪一步。
- 供应商变慢:工具跨度 p95 变长、模型跨度正常、调用次数不变。
- Agent 可观测性和同步微服务的差别在于:同输入可走不同路径,故障经常在中间一次检索或一次错误的
book_flight参数,最终回复仍可能是通顺道歉。 - 每个跨度固定字段:
run_id、step_idx、span_kind(llm / tool / retriever)、模型版本、提示哈希(原文按需落对象存储)、补全、工具 schema 版本、参数 JSON、返回截断、输入输出 token、缓存命中、重试次数、错误码。