跳到主要内容

人工抽查看到回复更长更客气、事实错误没少,而 PPO 的奖励分还在涨。怎样判断策略在钻奖励模型的空子,以及你先改哪一头?

Agent 学习与策略优化中级对齐

题目​

人工抽查看到回复更长更客气、事实错误没少,而 PPO 的奖励分还在涨。怎样判断策略在钻奖励模型的空子,以及你先改哪一头?

参考答案​