控制问题上走「短片段两两比较,拟合奖励,再做强化学习」:人写不出奖励公式,看两段短轨迹却能指出哪段更接近目标。该闭环解决了什么?比较采集一停,策略为什么开始走样?
题目
控制问题上走「短片段两两比较,拟合奖励,再做强化学习」:人写不出奖励公式,看两段短轨迹却能指出哪段更接近目标。该闭环解决了什么?比较采集一停,策略为什么开始走样?
参考答案
点击展开参考答案
- 有一类目标几乎写不成可微的标量:动作要「像熟练操作」、姿态要「自然」、行为要「别取巧」。
- 人很难打绝对分,却能稳定指出两段短轨迹谁更好。
- 先用这些比较拟合奖励模型(成对逻辑:片段 i 优于 j 的概率随 r_i − r_j 变化),再用强化学习优化这个 r。
- 策略会专门搜索 r 的漏洞,所以必须对最新轨迹继续问人;比较一停,优化的就是过期代理,而不是人类当时的判断。
- 这条环在 2017 年前后被用在街机风格游戏和模拟机器人运动上:人只给相对环境步数很少的片段比较,智能体仍能学到可玩策略,以及很难手写奖励的动作样式。
- 比较优于 1–5 分,因为不同人对绝对尺度校准差、对谁更好更一致。