订票助理挂载的工具由 12 种膨胀到 80 种,查机票的 search_flights 与查酒店的 search_hotels 从此常被它弄反。每轮全量下发完整定义,为何反倒拖累选择?按需暴露应当依据什么来分组?
题目
订票助理挂载的工具由 12 种膨胀到 80 种,查机票的 search_flights 与查酒店的 search_hotels 从此常被它弄反。每轮全量下发完整定义,为何反倒拖累选择?按需暴露应当依据什么来分组?
参考答案
点击展开参考答案
- 一次请求里塞几十个近义工具,描述互相淹没,模型按表面词重叠选错是常态。
- 应先做廉价的意图路由,只把当前阶段需要的一小撮(通常几个到十几个)放进本次函数列表;全量目录留在路由表,不进上下文。
- 命名和职责必须互斥,靠把说明写得更长救不了重叠。
- 每个工具 schema 常常要几百 token,80 个就能吃掉数万 token 的前缀,判别句被挤到中间。
- 路由可用规则(槽位:交通/住宿/支付)、小分类器,或对工具文档做检索,命中后再加载 schema。