跳到主要内容

每个更新步都要现场采样,训练机还同时挂着价值、策略、奖励、参考。改成对既定偏好对做分类损失后,哪些翻车会消失?若任务可自动打分,或策略已经强于旧偏好数据,这条离线目标为何会先出现假收敛?

Agent 学习与策略优化中级学习与策略优

题目​

每个更新步都要现场采样,训练机还同时挂着价值、策略、奖励、参考。改成对既定偏好对做分类损失后,哪些翻车会消失?若任务可自动打分,或策略已经强于旧偏好数据,这条离线目标为何会先出现假收敛?

参考答案​