执行器只开放了查询订单 get_order、创建工单 create_ticket。模型却要去调 cancel_order,还带上 order_id,并把 refund 设成 true。说明书加长为什么拦不住这种幻觉?未知函数名和未声明字段为何必须在执行层被拒绝?
题目
执行器只开放了查询订单 get_order、创建工单 create_ticket。模型却要去调 cancel_order,还带上 order_id,并把 refund 设成 true。说明书加长为什么拦不住这种幻觉?未知函数名和未声明字段为何必须在执行层被拒绝?
参考答案
点击展开参考答案
- 模型会把训练里见过的函数名、或上一轮自己编过的参数,当成当前环境里真有的工具。
- 说明再长也只是一段可被忽略的文本。
- 运行时必须先做名字白名单,再按 JSON Schema 拒掉未声明字段和类型错误,把失败打回模型后才允许改选或改参。
- 没有这道门,幻觉出来的能力会变成一次真实副作用。
- 能力幻觉常见三种:编造未注册函数、给已有函数加 schema 没有的键、把只读工具当成能写。
- 执行器应满足
name ∈ catalog且args ⊨ schema,additionalProperties默认 false,枚举值不在集合内直接拒绝。