工具返回数据过大怎么截断或摘要?工具失败怎么重试、熔断并保证幂等?
题目
工具返回数据过大怎么截断或摘要?工具失败怎么重试、熔断并保证幂等?
参考答案
点击展开参考答案
- 优先在工具侧减少数据:字段投影、过滤、分页、Top-K、聚合和游标,而不是先拉全量再截断。
- 执行层设置行数、字节和 Token 上限;原始结果写对象存储,返回 Schema、统计信息、相关片段、来源和 artifact URI。
- 摘要保留实体、数字、时间、错误和证据位置;后续需要精确计算时回取结构化原始数据,不能只依赖自然语言摘要。
- 失败先分类:参数/权限/业务拒绝不重试;连接重置、部分 5xx、限流在剩余 deadline 内指数退避 + jitter,并遵守
Retry-After;慢调用和高失败率触发按工具/区域维度熔断,半开少量探测。 - 非关键工具失败可返回部分结果,关键工具失败则明确失败或转人工。
- 写操作幂等键由业务动作决定,例如
run_id + logical_step + target,下游原子保存 key 与结果;重试始终使用同一 key。 - 超时进入
UNKNOWN_RESULT,先查状态。