既要压低有害回复,又不能让安全岗的标注员继续大批去读攻击内容。原则落成可对照执行的条款、模型自批草稿再改写,对比继续堆积人类成对偏好,你省的是暴露量还是标准本身?哪类冲突会最先撑不住?
题目
既要压低有害回复,又不能让安全岗的标注员继续大批去读攻击内容。原则落成可对照执行的条款、模型自批草稿再改写,对比继续堆积人类成对偏好,你省的是暴露量还是标准本身?哪类冲突会最先撑不住?
参考答案
点击展开参考答案
- 明文原则把“无害、诚实、有帮助”从藏在标注员判断里的隐含标准,变成可审查、可改写的条文;模型按条文批评自己的草稿并改写,再按原则在两个回答间选择,用生成的偏好做后续优化。
- 这套原则驱动的自评自改,常被称作宪法式对齐。
- 省下的主要是标注员接触攻击内容的规模,以及按条目标注的人力,不是省掉“什么算有害”这件事——判断被前移到写原则和做抽检的人身上。
- 原则互相打架(有帮助 vs 拒绝可操作危险步骤)、条文过粗或只会改语气时,自我批评会变成表面合规,具体场景里的人类比较反而更能抓住细节。
- 监督段:对越界提示生成初稿 → 按原则逐条批评(该拒未拒、仍列出步骤、假装确定)→ 改写 → 用改写结果做 SFT。
- 偏好段:同一提示下两个回答由模型按原则选胜者,形成机器偏好,再训练奖励或做偏好优化。