Function Calling 经常格式不对/参数错,怎么办?
题目
Function Calling 经常格式不对/参数错,怎么办?
参考答案
点击展开参考答案
- Prompt 层面:明确给出工具参数的 JSON Schema 描述;给 few-shot 示例展示正确的调用格式。
- 格式约束:用 JSON mode / structured output 强制模型输出合法 JSON;用 grammar 约束(如 Outlines、XGrammar)保证 schema 正确。
- 重试机制:解析失败时把错误信息喂回模型,让它修正后重试。
- 微调:如果是自有模型,在 SFT 数据中加入大量 Function Calling 样本,让模型学会稳定输出格式。
- 工具设计:参数尽量简单,必填参数少一点;枚举值给清楚,减少模型"自由发挥"的空间。
- 追问:什么是 structured output?(答:让模型严格按照指定 JSON Schema 输出,语法层面保证合法,而不是靠 prompt 约束;vLLM/Grammar 等框架支持)