模型选型与微调RLHF 三阶段?DPO 为什么更简单?本页总览RLHF 三阶段?DPO 为什么更简单?模型选型与微调中级对齐 题目 RLHF 三阶段?DPO 为什么更简单? 参考答案 点击展开参考答案 SFT → 奖励模型 → PPO;DPO 用偏好对直接构造损失,去掉 RM 与在线采样循环。