RLHF 和 RLAIF 有什么区别?
题目
RLHF 和 RLAIF 有什么区别?
参考答案
点击展开参考答案
- RLHF:Reinforcement Learning from Human Feedback,用人类标注员做偏好排序来训练奖励模型。
- RLAIF:Reinforcement Learning from AI Feedback,用更强的 AI 模型(如 GPT-4)来生成偏好标注和奖励信号,替代人类标注。
- 优缺点对比:RLAIF 成本低、可规模化、速度快;但标注质量受限于 AI 模型自身水平,可能放大偏见。RLHF 质量高但成本贵、慢、难以大规模扩展。
- 实际做法:通常混合使用——核心/高难 case 用人类标注,大规模常规标注用 AI 反馈,再用人类做抽检。
- 追问:Constitutional AI 属于 RLAIF 吗?(答:是的,Constitutional AI 让模型根据一组"宪法原则"自己批判和修正自己的回答,本质上是用 AI 反馈做对齐,不需要大量人工标注)