Constitutional AI(CAI)的核心思想是什么?
题目
Constitutional AI(CAI)的核心思想是什么?
参考答案
点击展开参考答案
- 核心思想:不给模型人工标注的偏好数据,而是给它一组"宪法原则"(如"回答要诚实、不能伤害人"),让模型自己根据这些原则批判和修正自己的回答,从而实现对齐。
- 流程:(a) 模型生成初始回答;(b) 让模型根据宪法原则批判自己的回答哪里不好;(c) 让模型根据批判重写回答;(d) 用修正后的回答做偏好训练。
- 优势:大幅减少人工标注;对齐原则可控可解释(改宪法条文就能调整对齐方向);Anthropic 的 Claude 系列就是基于这个思路。
- 追问:CAI 和 RLHF 的关系?(答:CAI 是 RLAIF 的一种,用 AI 自己生成偏好标注;最终还是可以接 PPO 或 DPO 训练)
- 追问:宪法原则一般写什么?(答:包括诚实性、无害性、公平性、帮助性等大类,每类有具体的原则条目,如"不要生成歧视性内容")