Agent 学习与策略优化中级评测
评估集也用于训练时,如何维护独立性?
参考答案
点击展开参考答案
- 一旦具体实例用于训练,就从盲测移出;保留私有 holdout 和时间后移集。
- 公开参数化 benchmark 可用于训练生成机制,但评测使用未见随机种子、实体、状态组合和 verifier,定期刷新模板以防结构过拟合。
- 按任务族/实体/时间切分,记录数据 lineage 和去重;开发、回归、盲测用途不可混。
- 训练价值来自失败模式而非背答案。
- 最终用真实 Shadow/Canary 验证,报告 benchmark 污染边界,不把已见集分数当泛化。