对无法形式化验证的开放任务,如何设定 Agent 的可靠性边界?
题目
对无法形式化验证的开放任务,如何设定 Agent 的可靠性边界?
参考答案
点击展开参考答案
- 代码、数学、SQL、策略 DSL 等任务可以用测试、编译器或规则验证;开放研究、建议和内容判断没有完备 verifier,不能承诺 100% 正确。
- 系统应按“可验证性 × 影响”划分自治等级:可验证低风险任务可自动执行;不可验证低风险任务输出证据和不确定性;不可验证高风险任务只生成建议并由专家决策。
- 把开放目标拆成可验证子步骤:来源是否存在、引用是否支持 claim、数值能否由代码复算、工具状态是否真实、过程是否越权。
- 保留多来源交叉验证、拒答/澄清、HITL 和回滚。
- 上线指标除平均准确率外,还要看严重错误率、拒答正确率、校准、专家采纳和最坏切片。
- 核心原则不是消灭模型不确定性,而是把它限制在可观察、可逆和可承担的边界内。