评测预算有限时,如何最大化每次 Agent 运行的信息量?
Agent 学习与策略优化中级评测成本
评测预算有限时,如何最大化每次 Agent 运行的信息量?
参考答案
点击展开参考答案
- 先聚类失败和不确定样本,优先能区分候选方案的 case,而非均匀跑全量。
- 用小样本配对筛选单变量改动,计算标准误/置信区间;差异小于噪声再扩样。
- 严重安全边界固定必跑,常规集按风险/历史回归概率抽样。
- 采用序贯检验、早停和多重比较校正;同一环境复用录制工具结果降低方差。
- 记录计算、Token 与 wall time,优化“每单位成本发现的错误/减少的不确定性”,不是只追求更多 case。