Agent RL rollout 长尾拖慢集群时如何优化?
题目
Agent RL rollout 长尾拖慢集群时如何优化?
参考答案
点击展开参考答案
- 同步批次被少数超长轨迹阻塞,GPU 等待。
- 可按预估长度/难度分桶,异步 rollout 与训练解耦,动态 batching,设置合理 max tokens/steps 和无进展早停;完成样本流式进入 buffer,不必等最慢。
- 但过度截断会偏向短策略,异步导致 off-policy。
- 记录行为模型版本和 logprob,限制策略陈旧度,必要时重要性修正;单独保留长任务队列。
- 评估吞吐、GPU 利用率、轨迹长度分布、成功和策略偏差,不能只追速度。