跳到主要内容

卡上要同时放下价值、奖励、参考和策略四套网才能走一步 PPO。当 A>0 且 π 比值已经不小于 1+ε,截断目标为什么让这个位置对策略的梯度变成 0?价值头和 GAE 各自在消灭哪类方差,四套权重加优化器状态的显存大致如何切?

Agent 学习与策略优化中级对齐

题目​

卡上要同时放下价值、奖励、参考和策略四套网才能走一步 PPO。当 A>0 且 π 比值已经不小于 1+ε,截断目标为什么让这个位置对策略的梯度变成 0?价值头和 GAE 各自在消灭哪类方差,四套权重加优化器状态的显存大致如何切?

参考答案​