多步 Agent 的 Credit Assignment 如何结合 PRM 与 ORM?
题目
多步 Agent 的 Credit Assignment 如何结合 PRM 与 ORM?
参考答案
点击展开参考答案
- ORM 用最终环境状态定义“做成没有”,可靠但稀疏;PRM 给计划、工具选择、参数和恢复步骤反馈,学习快但容易把代理指标当目标。
- 以 ORM 为主,确定性中间里程碑做辅助;无法验证的思维文本不轻易打分。
- 使用折扣回报/优势、分段里程碑、同状态候选动作比较和反事实移除估计贡献。
- 过程奖励应尽量 potential-based,防改变最优策略;监控 reward hacking。
- 错误过程侥幸成功需轨迹安全约束,正确过程最终失败则保留诊断价值但不算任务完成。