怎么让模型输出稳定的 JSON 格式?
题目
怎么让模型输出稳定的 JSON 格式?
参考答案
点击展开参考答案
- Prompt 层面:明确给出 JSON 模板和字段说明;给 few-shot 示例。
- 结构化输出:用模型的 JSON mode / function calling 功能,强制输出合法 JSON。
- 语法约束:用 Outlines / XGrammar / Guidance 等库,在 decoding 时约束语法,保证输出严格符合 JSON Schema。
- 后处理:即使模型输出了多余文字,写个 parser 提取 JSON 部分;加 try-except 重试。
- 微调:如果是自有模型,在 SFT 数据中加入大量 JSON 输出样本。
- 追问:为什么模型有时候 JSON 不合法?(答:自由生成时模型可能多加注释、多加逗号、字段名写错;尤其是长输出时,后半部分容易崩)